Generátor Robots.txt
Čo je robots.txt?
robots.txt je textový súbor umiestnený v koreňovom adresári vašej webovej stránky (napr. https://example.com/robots.txt), ktorý informuje webových prehľadávačov o tom, ku ktorým stránkam alebo sekciám môžu alebo nemôžu pristupovať. Je súčasťou Robots Exclusion Protocol. Hoci ho roboty vyhľadávačov zvyčajne rešpektujú, škodlivé boty ho môžu ignorovať. Použite ho na blokovanie duplicitných stránok, administratívnych oblastí a privátnych sekcií pred prehľadávaním.
Ako používať Generátor Robots.txt
-
Vyberte predvoľbu alebo začnite od nuly kliknutím na '+ Pridať pravidlo'.
-
Nastavte pole User-agent pre cielenie na konkrétneho bota (použite * pre všetkých botov).
-
Pridajte cesty Disallow pre stránky, ktoré nechcete prehľadávať, a cesty Allow pre výnimky.
-
Voliteľne nastavte Crawl-delay (v sekundách) na spomalenie agresívnych prehľadávačov.
-
Pridajte URL mapy stránky v dolnej časti.
-
Skopírujte výstup a uložte ho ako robots.txt v koreňovom adresári vašej webovej stránky.
Často kladené otázky
Je bezpečné dekódovať tu citlivé údaje? Áno. Všetko dekódovanie prebieha v tvojom prehliadači pomocou JavaScriptu. Žiadne údaje sa neprenášajú na server, takže vaše zakódované reťazce zostanú úplne súkromné.
Aký je rozdiel medzi Base64 a URL-bezpečným Base64? Štandardný Base64 používa znaky + a /, ktoré sú špeciálne znaky v URL. URL-bezpečný Base64 ich nahrádza znakami - a _, takže reťazec možno bezpečne použiť v URL a názvoch súborov bez percentuálneho kódovania.
Prečo môj dekódovaný výstup vyzerá ako nezmysly? Ak boli pôvodné údaje binárne (ako napríklad obrázok, PDF alebo komprimovaný súbor), dekódovaný výstup nebude čitateľný text. V takom prípade reťazec Base64 predstavuje binárny súbor, nie textový reťazec.
Je Base64 forma šifrovania? Nie. Base64 je schéma kódovania, nie šifrovanie. Ktokoľvek môže dekódovať reťazec Base64 bez kľúča. Nikdy by nemal byť používaný na ochranu citlivých údajov — na to použite správne šifrovanie.
Keywords: generátor robots.txt, súbor robots.txt, blokovanie prehľadávačov, blokovanie botov, SEO roboty, sitemap roboty, pravidlá webového prehľadávača