Robots.txt Generator
Ano ang robots.txt?
Ang robots.txt ay isang text file na inilalagay sa ugat ng iyong website (hal. https://example.com/robots.txt) na nagsasabi sa mga web crawler kung aling mga pahina o seksyon ang maaari o hindi nila ma-access. Ito ay bahagi ng Robots Exclusion Protocol. Habang ang mga bot ng search engine ay karaniwang sumusunod dito, maaaring balewalain ito ng mga mapanlinlang na bot. Gamitin ito para harangan ang mga duplicate na pahina, mga lugar ng admin, at mga pribadong seksyon mula sa pag-crawl.
Paano Gamitin ang Robots.txt Generator
-
Pumili ng preset o magsimula mula sa simula sa pamamagitan ng pag-click sa '+ Magdagdag ng panuntunan'.
-
Itakda ang field na User-agent upang i-target ang isang partikular na bot (gamitin ang * para sa lahat ng bot).
-
Magdagdag ng mga landas na Disallow para sa mga pahina na ayaw mong i-crawl, at mga landas na Allow para sa mga pagbubukod.
-
Opsyonal na magtakda ng Crawl-delay (sa segundo) upang pabagalin ang mga agresibong crawler.
-
Idagdag ang iyong sitemap URL sa ibaba.
-
Kopyahin ang output at i-save ito bilang robots.txt sa root directory ng iyong website.
Keywords: robots.txt generator, robots.txt file, harangan ang mga crawler, i-block ang mga bot, SEO robots, sitemap robots, mga panuntunan ng web crawler