Generátor Robots.txt
Co je robots.txt?
robots.txt je textový soubor umístěný v kořenovém adresáři vašeho webu (např. https://example.com/robots.txt), který informuje webové prohledávače o tom, ke kterým stránkám nebo sekcím mohou nebo nemohou přistupovat. Je součástí Robots Exclusion Protocol. Přestože ho roboty vyhledávačů obecně respektují, škodlivé boty ho mohou ignorovat. Použijte ho k blokování duplicitních stránek, administračních oblastí a privátních sekcí před prohledáváním.
Jak používat generátor Robots.txt
-
Vyberte předvolbu nebo začněte od nuly kliknutím na '+ Přidat pravidlo'.
-
Nastavte pole User-agent pro cílení na konkrétního bota (použijte * pro všechny boty).
-
Přidejte cesty Disallow pro stránky, které nechcete prohledávat, a cesty Allow pro výjimky.
-
Volitelně nastavte Crawl-delay (v sekundách) pro zpomalení agresivních prohledávačů.
-
Přidejte URL mapy webu ve spodní části.
-
Zkopírujte výstup a uložte ho jako robots.txt v kořenovém adresáři vašeho webu.
Keywords: generátor robots.txt, soubor robots.txt, blokování prohledávačů, blokování botů, SEO roboty, sitemap roboty, pravidla webového prohledávače