Penjana Robots.txt
Apakah robots.txt?
robots.txt ialah fail teks yang diletakkan di akar laman web anda (cth. https://example.com/robots.txt) yang memberitahu perangkak web halaman atau bahagian mana yang boleh atau tidak boleh mereka akses. Ia adalah sebahagian daripada Robots Exclusion Protocol. Walaupun bot enjin carian umumnya menghormatinya, bot berbahaya mungkin mengabaikannya. Gunakan ia untuk menyekat halaman pendua, kawasan pentadbir dan bahagian peribadi daripada dirangkak.
Cara Menggunakan Penjana Robots.txt
-
Pilih pratetap atau mulakan dari awal dengan mengklik '+ Tambah peraturan'.
-
Tetapkan medan User-agent untuk menyasarkan bot tertentu (gunakan * untuk semua bot).
-
Tambah laluan Disallow untuk halaman yang tidak mahu dirangkak, dan laluan Allow untuk pengecualian.
-
Secara pilihan, tetapkan Crawl-delay (dalam saat) untuk melambatkan perangkak agresif.
-
Tambah URL peta laman anda di bahagian bawah.
-
Salin output dan simpan sebagai robots.txt dalam direktori akar laman web anda.
Keywords: penjana robots.txt, fail robots.txt, sekat perangkak, sekat bot, robot SEO, robot sitemap, peraturan perangkak web