Robots.txt Generatorius
Kas yra robots.txt?
robots.txt yra teksto failas, patalpintas jūsų svetainės šaknyje (pvz., https://example.com/robots.txt), kuris nurodo žiniatinklio ropliams, kuriuos puslapius ar skyrius jie gali arba negali pasiekti. Tai Robots Exclusion Protocol dalis. Nors paieškos sistemų botai paprastai tai gerbia, kenkėjiški botai gali tai ignoruoti. Naudokite jį, kad blokuotumėte besikartojančius puslapius, administratoriaus sritis ir privačias sekcijas nuo perrinkimo.
Kaip naudoti Robots.txt Generatorių
-
Pasirinkite išankstinį nustatymą arba pradėkite nuo nulio spustelėdami '+ Pridėti taisyklę'.
-
Nustatykite User-agent lauką, kad taikytumėte konkretų botą (naudokite * visiems botams).
-
Pridėkite Disallow kelius puslapiams, kurių nenorite perrinkti, ir Allow kelius išimtims.
-
Pasirinktinai nustatykite Crawl-delay (sekundėmis), kad sulėtintumėte agresyvius roplius.
-
Pridėkite savo svetainės žemėlapio URL apačioje.
-
Nukopijuokite išvestį ir išsaugokite kaip robots.txt savo svetainės šakniniame kataloge.
Keywords: robots.txt generatorius, robots.txt failas, blokuoti roplius, blokuoti botus, SEO robotai, sitemap robotai, žiniatinklio roplio taisyklės