Generátor Robots.txt
Co je robots.txt?
robots.txt je textový soubor umístěný v kořenovém adresáři vašeho webu (např. https://example.com/robots.txt), který informuje webové prohledávače o tom, ke kterým stránkám nebo sekcím mohou nebo nemohou přistupovat. Je součástí Robots Exclusion Protocol. Přestože ho roboty vyhledávačů obecně respektují, škodlivé boty ho mohou ignorovat. Použijte ho k blokování duplicitních stránek, administračních oblastí a privátních sekcí před prohledáváním.
Jak používat generátor Robots.txt
-
Vyberte předvolbu nebo začněte od nuly kliknutím na '+ Přidat pravidlo'.
-
Nastavte pole User-agent pro cílení na konkrétního bota (použijte * pro všechny boty).
-
Přidejte cesty Disallow pro stránky, které nechcete prohledávat, a cesty Allow pro výjimky.
-
Volitelně nastavte Crawl-delay (v sekundách) pro zpomalení agresivních prohledávačů.
-
Přidejte URL mapy webu ve spodní části.
-
Zkopírujte výstup a uložte ho jako robots.txt v kořenovém adresáři vašeho webu.
Často Kladené Otázky
Je bezpečné dekódovat zde citlivá data? Ano. Všechno dekódování probíhá ve vašem prohlížeči pomocí JavaScriptu. Žádná data se nepřenášejí na žádný server, takže vaše kódované řetězce zůstávají zcela soukromé.
Jaký je rozdíl mezi Base64 a URL-bezpečným Base64? Standardní Base64 používá znaky + a /, které jsou speciálními znaky v URL. URL-bezpečný Base64 je nahrazuje znaky - a _, takže řetězec lze bezpečně používat v URL adresách a názvech souborů bez percent-enkódování.
Proč můj dekódovaný výstup vypadá jako nesmysly? Pokud byla původní data binární (například obrázek, PDF nebo komprimovaný soubor), dekódovaný výstup nebude čitelný text. V tomto případě řetězec Base64 představuje binární soubor, nikoli textový řetězec.
Je Base64 formou šifrování? Ne. Base64 je schéma kódování, ne šifrování. Kdokoli může dekódovat řetězec Base64 bez klíče. Nikdy by se neměl používat k ochraně citlivých údajů — pro to použijte správné šifrování.
Keywords: generátor robots.txt, soubor robots.txt, blokování prohledávačů, blokování botů, SEO roboty, sitemap roboty, pravidla webového prohledávače