Generator Robots.txt
Kaj je robots.txt?
robots.txt je besedilna datoteka, ki se nahaja v korenu vašega spletišča (npr. https://example.com/robots.txt) in pajkom sporoča, katerim stranem ali razdelkom lahko ali ne morejo dostopati. Je del Robots Exclusion Protocol. Čeprav ga pajki iskalnikov na splošno upoštevajo, ga zlonamerni boti lahko prezrejo. Uporabite ga za blokiranje podvojenih strani, skrbniških območij in zasebnih razdelkov pred pregledovanjem.
Kako uporabljati Generator Robots.txt
-
Izberite vnaprejšnjo nastavitev ali začnite od začetka s klikom na '+ Dodaj pravilo'.
-
Nastavite polje User-agent za ciljanje določenega bota (za vse bote uporabite *).
-
Dodajte poti Disallow za strani, ki jih ne želite pregledati, in poti Allow za izjeme.
-
Po želji nastavite Crawl-delay (v sekundah) za upočasnitev agresivnih pajkov.
-
Na dnu dodajte URL zemljevida vašega spletišča.
-
Kopirajte izhod in ga shranite kot robots.txt v korenski imenik svojega spletišča.
Keywords: generator robots.txt, datoteka robots.txt, blokiranje pajkov, blokiranje botov, SEO roboti, sitemap roboti, pravila spletnega pajka