Генератор Robots.txt
Что такое robots.txt?
robots.txt — текстовый файл, размещённый в корне вашего сайта (например, https://example.com/robots.txt), который сообщает веб-краулерам, какие страницы или разделы они могут или не могут посещать. Он является частью Robots Exclusion Protocol. Хотя боты поисковых систем обычно соблюдают его, вредоносные боты могут его игнорировать. Используйте его для блокировки обхода дублированных страниц, административных разделов и приватных страниц.
Как использовать Генератор Robots.txt
-
Выберите готовый шаблон или начните с нуля, нажав '+ Добавить правило'.
-
Задайте поле User-agent для нацеливания на конкретного бота (используйте * для всех ботов).
-
Добавьте пути Disallow для страниц, которые не должны индексироваться, и пути Allow для исключений.
-
При необходимости задайте Crawl-delay (в секундах) для замедления агрессивных краулеров.
-
Добавьте URL карты сайта в нижней части.
-
Скопируйте результат и сохраните его как robots.txt в корневой директории вашего сайта.
Keywords: генератор robots.txt, файл robots.txt, блокировка краулеров, блокировка ботов, SEO-роботы, роботы sitemap, правила веб-краулеров