DevTulz Online

Robots.txt Generator

Ano ang robots.txt?

Ang robots.txt ay isang text file na inilalagay sa ugat ng iyong website (hal. https://example.com/robots.txt) na nagsasabi sa mga web crawler kung aling mga pahina o seksyon ang maaari o hindi nila ma-access. Ito ay bahagi ng Robots Exclusion Protocol. Habang ang mga bot ng search engine ay karaniwang sumusunod dito, maaaring balewalain ito ng mga mapanlinlang na bot. Gamitin ito para harangan ang mga duplicate na pahina, mga lugar ng admin, at mga pribadong seksyon mula sa pag-crawl.

Paano Gamitin ang Robots.txt Generator

  1. Pumili ng preset o magsimula mula sa simula sa pamamagitan ng pag-click sa '+ Magdagdag ng panuntunan'.

  2. Itakda ang field na User-agent upang i-target ang isang partikular na bot (gamitin ang * para sa lahat ng bot).

  3. Magdagdag ng mga landas na Disallow para sa mga pahina na ayaw mong i-crawl, at mga landas na Allow para sa mga pagbubukod.

  4. Opsyonal na magtakda ng Crawl-delay (sa segundo) upang pabagalin ang mga agresibong crawler.

  5. Idagdag ang iyong sitemap URL sa ibaba.

  6. Kopyahin ang output at i-save ito bilang robots.txt sa root directory ng iyong website.

Mga Madalas Itanong

Ligtas ba ang pag-decode ng sensitibong data dito? Oo. Ang lahat ng pag-decode ay nangyayari sa iyong browser gamit ang JavaScript. Walang data na ipinadala sa anumang server, kaya ang iyong encoded strings ay nananatiling ganap na pribado.

Ano ang pagkakaiba sa pagitan ng Base64 at URL-safe Base64? Ang standard Base64 ay gumagamit ng + at / characters, na mga special character sa URLs. Ang URL-safe Base64 ay pinapalit ang mga ito ng - at _ upang ang string ay maaaring gamitin nang ligtas sa URLs at mga filename nang walang percent-encoding.

Bakit ang aking decoded output ay mukhang basura? Kung ang orihinal na data ay binary (tulad ng isang larawan, PDF, o compressed file), ang decoded output ay hindi magiging readable text. Sa ganitong kaso, ang Base64 string ay kumakatawan sa isang binary file, hindi sa isang text string.

Ang Base64 ba ay isang uri ng encryption? Hindi. Ang Base64 ay isang encoding scheme, hindi encryption. Sinuman ay maaaring mag-decode ng Base64 string nang walang key. Hindi ito dapat gamitin upang protektahan ang sensitibong data — gumamit ng wastong encryption para doon.

Keywords: robots.txt generator, robots.txt file, harangan ang mga crawler, i-block ang mga bot, SEO robots, sitemap robots, mga panuntunan ng web crawler