Robots.txt Generatorius
Kas yra robots.txt?
robots.txt yra teksto failas, patalpintas jūsų svetainės šaknyje (pvz., https://example.com/robots.txt), kuris nurodo žiniatinklio ropliams, kuriuos puslapius ar skyrius jie gali arba negali pasiekti. Tai Robots Exclusion Protocol dalis. Nors paieškos sistemų botai paprastai tai gerbia, kenkėjiški botai gali tai ignoruoti. Naudokite jį, kad blokuotumėte besikartojančius puslapius, administratoriaus sritis ir privačias sekcijas nuo perrinkimo.
Kaip naudoti Robots.txt Generatorių
-
Pasirinkite išankstinį nustatymą arba pradėkite nuo nulio spustelėdami '+ Pridėti taisyklę'.
-
Nustatykite User-agent lauką, kad taikytumėte konkretų botą (naudokite * visiems botams).
-
Pridėkite Disallow kelius puslapiams, kurių nenorite perrinkti, ir Allow kelius išimtims.
-
Pasirinktinai nustatykite Crawl-delay (sekundėmis), kad sulėtintumėte agresyvius roplius.
-
Pridėkite savo svetainės žemėlapio URL apačioje.
-
Nukopijuokite išvestį ir išsaugokite kaip robots.txt savo svetainės šakniniame kataloge.
Dažniausiai užduodami klausimai
Ar saugu čia dekuoti jautrius duomenis? Taip. Visas dekodavimas vyksta jūsų naršyklėje naudojant JavaScript. Jokie duomenys neperduodami jokiam serveriui, todėl jūsų koduotos eilutės lieka visiškai privačios.
Koks yra skirtumas tarp Base64 ir URL saugaus Base64? Standartinis Base64 naudoja + ir / simbolius, kurie yra specialūs simboliai URL'uose. URL saugus Base64 juos pakeičia į - ir _, todėl eilutė gali būti saugiai naudojama URL'uose ir failų varduose be procentinio kodavimo.
Kodėl mano dekuotas rezultatas atrodo kaip žibalda? Jei originalūs duomenys buvo dvejetainiai (pvz., nuotrauka, PDF arba suspaustas failas), dekuotas rezultatas nebus skaitomas tekstas. Tokiu atveju Base64 eilutė reiškia dvejetainį failą, o ne teksto eilutę.
Ar Base64 yra šifravimo forma? Ne. Base64 yra kodavimo schema, o ne šifravimas. Bet kas gali dekuoti Base64 eilutę be rakto. Jį niekada neturėtumėte naudoti jautrūs duomenims apsaugoti — tam naudokite tinkamą šifravimą.
Keywords: robots.txt generatorius, robots.txt failas, blokuoti roplius, blokuoti botus, SEO robotai, sitemap robotai, žiniatinklio roplio taisyklės