Generátor Robots.txt
Čo je robots.txt?
robots.txt je textový súbor umiestnený v koreňovom adresári vašej webovej stránky (napr. https://example.com/robots.txt), ktorý informuje webových prehľadávačov o tom, ku ktorým stránkam alebo sekciám môžu alebo nemôžu pristupovať. Je súčasťou Robots Exclusion Protocol. Hoci ho roboty vyhľadávačov zvyčajne rešpektujú, škodlivé boty ho môžu ignorovať. Použite ho na blokovanie duplicitných stránok, administratívnych oblastí a privátnych sekcií pred prehľadávaním.
Ako používať Generátor Robots.txt
-
Vyberte predvoľbu alebo začnite od nuly kliknutím na '+ Pridať pravidlo'.
-
Nastavte pole User-agent pre cielenie na konkrétneho bota (použite * pre všetkých botov).
-
Pridajte cesty Disallow pre stránky, ktoré nechcete prehľadávať, a cesty Allow pre výnimky.
-
Voliteľne nastavte Crawl-delay (v sekundách) na spomalenie agresívnych prehľadávačov.
-
Pridajte URL mapy stránky v dolnej časti.
-
Skopírujte výstup a uložte ho ako robots.txt v koreňovom adresári vašej webovej stránky.
Keywords: generátor robots.txt, súbor robots.txt, blokovanie prehľadávačov, blokovanie botov, SEO roboty, sitemap roboty, pravidlá webového prehľadávača