Генератор Robots.txt
Шта је robots.txt?
robots.txt је текстуална датотека смештена у корен вашег веб сајта (нпр. https://example.com/robots.txt) која говори веб пузачима којим страницама или одељцима могу или не могу приступити. Она је dio Robots Exclusion Protocol. Иако је роботи претраживача генерално поштују, злонамерни ботови је могу игнорисати. Користите је за блокирање дупликат страница, административних области и приватних одељака од обилажења.
Како користити Генератор Robots.txt
-
Изаберите унапред постављену конфигурацију или почните од нуле кликом на '+ Додај правило'.
-
Поставите поље User-agent за циљање одређеног бота (користите * за све ботове).
-
Додајте путање Disallow за странице које не желите да буду обиђене и путање Allow за изузетке.
-
По жељи поставите Crawl-delay (у секундама) за успоравање агресивних пузача.
-
Додајте URL карте сајта на дну.
-
Копирајте излаз и сачувајте га као robots.txt у коренском директоријуму вашег веб сајта.
Keywords: генератор robots.txt, датотека robots.txt, блокирање пузача, блокирање ботова, SEO роботи, sitemap роботи, правила веб пузача