Generator Robots.txt
Apa itu robots.txt?
robots.txt adalah file teks yang ditempatkan di akar situs web Anda (mis. https://example.com/robots.txt) yang memberi tahu perayap web halaman atau bagian mana yang dapat atau tidak dapat mereka akses. Ini adalah bagian dari Robots Exclusion Protocol. Meskipun bot mesin pencari umumnya menghormatinya, bot berbahaya mungkin mengabaikannya. Gunakan untuk memblokir halaman duplikat, area admin, dan bagian privat dari perayapan.
Cara Menggunakan Generator Robots.txt
-
Pilih preset atau mulai dari awal dengan mengklik '+ Tambah aturan'.
-
Atur field User-agent untuk menargetkan bot tertentu (gunakan * untuk semua bot).
-
Tambahkan jalur Disallow untuk halaman yang tidak ingin dirayapi, dan jalur Allow untuk pengecualian.
-
Opsional atur Crawl-delay (dalam detik) untuk memperlambat perayap agresif.
-
Tambahkan URL peta situs Anda di bagian bawah.
-
Salin output dan simpan sebagai robots.txt di direktori root situs web Anda.
Keywords: generator robots.txt, file robots.txt, blokir perayap, blokir bot, robot SEO, robot sitemap, aturan perayap web