DevTulz Online

Penjana Robots.txt

Apakah robots.txt?

robots.txt ialah fail teks yang diletakkan di akar laman web anda (cth. https://example.com/robots.txt) yang memberitahu perangkak web halaman atau bahagian mana yang boleh atau tidak boleh mereka akses. Ia adalah sebahagian daripada Robots Exclusion Protocol. Walaupun bot enjin carian umumnya menghormatinya, bot berbahaya mungkin mengabaikannya. Gunakan ia untuk menyekat halaman pendua, kawasan pentadbir dan bahagian peribadi daripada dirangkak.

Cara Menggunakan Penjana Robots.txt

  1. Pilih pratetap atau mulakan dari awal dengan mengklik '+ Tambah peraturan'.

  2. Tetapkan medan User-agent untuk menyasarkan bot tertentu (gunakan * untuk semua bot).

  3. Tambah laluan Disallow untuk halaman yang tidak mahu dirangkak, dan laluan Allow untuk pengecualian.

  4. Secara pilihan, tetapkan Crawl-delay (dalam saat) untuk melambatkan perangkak agresif.

  5. Tambah URL peta laman anda di bahagian bawah.

  6. Salin output dan simpan sebagai robots.txt dalam direktori akar laman web anda.

Soalan Lazim

Adakah selamat untuk mendekod data sensitif di sini? Ya. Semua penyahkodan berlaku di pelayar anda menggunakan JavaScript. Tiada data yang dihantar ke mana-mana pelayan, jadi rentetan berkod anda tetap sepenuhnya peribadi.

Apakah perbezaan antara Base64 dan URL-safe Base64? Base64 standard menggunakan aksara + dan /, iaitu aksara khas dalam URL. URL-safe Base64 menggantikannya dengan - dan _ supaya rentetan dapat digunakan dengan selamat dalam URL dan nama fail tanpa pengekodan peratusan.

Mengapa output penyahkodan saya kelihatan seperti teks yang tidak bermakna? Jika data asal adalah data binari (seperti imej, PDF, atau fail termampat), output penyahkodan tidak akan menjadi teks yang boleh dibaca. Dalam kes itu, rentetan Base64 mewakili fail binari, bukan rentetan teks.

Adakah Base64 merupakan satu bentuk penyulitan? Tidak. Base64 adalah skim pengekodan, bukan penyulitan. Sesiapa sahaja boleh mendekod rentetan Base64 tanpa kunci. Ia tidak boleh digunakan untuk melindungi data sensitif — gunakan penyulitan yang betul untuk itu.

Keywords: penjana robots.txt, fail robots.txt, sekat perangkak, sekat bot, robot SEO, robot sitemap, peraturan perangkak web