Generator Robots.txt
Apa itu robots.txt?
robots.txt adalah file teks yang ditempatkan di akar situs web Anda (mis. https://example.com/robots.txt) yang memberi tahu perayap web halaman atau bagian mana yang dapat atau tidak dapat mereka akses. Ini adalah bagian dari Robots Exclusion Protocol. Meskipun bot mesin pencari umumnya menghormatinya, bot berbahaya mungkin mengabaikannya. Gunakan untuk memblokir halaman duplikat, area admin, dan bagian privat dari perayapan.
Cara Menggunakan Generator Robots.txt
-
Pilih preset atau mulai dari awal dengan mengklik '+ Tambah aturan'.
-
Atur field User-agent untuk menargetkan bot tertentu (gunakan * untuk semua bot).
-
Tambahkan jalur Disallow untuk halaman yang tidak ingin dirayapi, dan jalur Allow untuk pengecualian.
-
Opsional atur Crawl-delay (dalam detik) untuk memperlambat perayap agresif.
-
Tambahkan URL peta situs Anda di bagian bawah.
-
Salin output dan simpan sebagai robots.txt di direktori root situs web Anda.
Pertanyaan yang Sering Diajukan
Apakah aman untuk mendekode data sensitif di sini? Ya. Semua dekoding terjadi di browser Anda menggunakan JavaScript. Tidak ada data yang dikirimkan ke server mana pun, jadi string yang dikodekan Anda tetap sepenuhnya pribadi.
Apa perbedaan antara Base64 dan Base64 aman URL? Base64 standar menggunakan karakter + dan /, yang merupakan karakter khusus dalam URL. Base64 aman URL menggantikannya dengan - dan _ sehingga string dapat digunakan dengan aman dalam URL dan nama file tanpa pengkodean persen.
Mengapa output yang didekode saya terlihat tidak dapat dibaca? Jika data asli adalah biner (seperti gambar, PDF, atau file terkompresi), output yang didekode tidak akan menjadi teks yang dapat dibaca. Dalam hal itu, string Base64 mewakili file biner, bukan string teks.
Apakah Base64 adalah bentuk enkripsi? Tidak. Base64 adalah skema pengkodean, bukan enkripsi. Siapa pun dapat mendekode string Base64 tanpa kunci. Itu tidak boleh pernah digunakan untuk melindungi data sensitif — gunakan enkripsi yang tepat untuk itu.
Keywords: generator robots.txt, file robots.txt, blokir perayap, blokir bot, robot SEO, robot sitemap, aturan perayap web