Robots.txt Generator

Buat file instruksi untuk robot mesin pencari agar proses indexing website Anda lebih efisien.

Default Allow/Disallow untuk semua Bot:

Sitemap URL (Opsional):

Direktori yang Dilarang (Disallow) - Satu per baris:

Hasil File robots.txt:

Lokasi: File ini harus diletakkan di root folder website Anda (contoh: domain.com/robots.txt).
Keamanan: Jangan gunakan file ini untuk menyembunyikan data sangat rahasia, karena file ini bisa dibaca publik. Gunakan autentikasi untuk data sensitif.
Crawl Budget: Membatasi bot dari folder yang tidak perlu membantu Google fokus mengindeks konten utama Anda.