Generator Robots.txt
Kaj je robots.txt?
robots.txt je besedilna datoteka, ki se nahaja v korenu vašega spletišča (npr. https://example.com/robots.txt) in pajkom sporoča, katerim stranem ali razdelkom lahko ali ne morejo dostopati. Je del Robots Exclusion Protocol. Čeprav ga pajki iskalnikov na splošno upoštevajo, ga zlonamerni boti lahko prezrejo. Uporabite ga za blokiranje podvojenih strani, skrbniških območij in zasebnih razdelkov pred pregledovanjem.
Kako uporabljati Generator Robots.txt
-
Izberite vnaprejšnjo nastavitev ali začnite od začetka s klikom na '+ Dodaj pravilo'.
-
Nastavite polje User-agent za ciljanje določenega bota (za vse bote uporabite *).
-
Dodajte poti Disallow za strani, ki jih ne želite pregledati, in poti Allow za izjeme.
-
Po želji nastavite Crawl-delay (v sekundah) za upočasnitev agresivnih pajkov.
-
Na dnu dodajte URL zemljevida vašega spletišča.
-
Kopirajte izhod in ga shranite kot robots.txt v korenski imenik svojega spletišča.
Pogosto Postavljana Vprašanja
Je varno dekodirati občutljive podatke tukaj? Da. Vsa dekodiranja potekajo v vašem brskalniku z uporabo JavaScripta. Noben podatek ni poslan na noben strežnik, zato vaši kodirani stringi ostanejo popolnoma zasebni.
Kakšna je razlika med Base64 in URL-varno Base64? Standardna Base64 uporablja znake + in /, ki so posebni znaki v URL-jih. URL-varna Base64 jih zamenja z - in _, zato je lahko string varno uporabljen v URL-jih in imenih datotek brez percent-kodiranja.
Zakaj moj dekodirani rezultat izgleda kot nesmiselno besedilo? Če so bili prvotni podatki binarni (kot slika, PDF ali stisnjena datoteka), dekodirani rezultat ne bo berljivo besedilo. V tem primeru Base64 string predstavlja binarno datoteko, ne tekstovni string.
Je Base64 oblika šifriranja? Ne. Base64 je kodna shema, ne šifriranje. Kdorkoli lahko dekodira Base64 string brez ključa. Nikoli ne sme biti uporabljen za zaščito občutljivih podatkov — za to uporabite pravo šifriranje.
Keywords: generator robots.txt, datoteka robots.txt, blokiranje pajkov, blokiranje botov, SEO roboti, sitemap roboti, pravila spletnega pajka