Генератор Robots.txt
Что такое robots.txt?
robots.txt — текстовый файл, размещённый в корне вашего сайта (например, https://example.com/robots.txt), который сообщает веб-краулерам, какие страницы или разделы они могут или не могут посещать. Он является частью Robots Exclusion Protocol. Хотя боты поисковых систем обычно соблюдают его, вредоносные боты могут его игнорировать. Используйте его для блокировки обхода дублированных страниц, административных разделов и приватных страниц.
Как использовать Генератор Robots.txt
-
Выберите готовый шаблон или начните с нуля, нажав '+ Добавить правило'.
-
Задайте поле User-agent для нацеливания на конкретного бота (используйте * для всех ботов).
-
Добавьте пути Disallow для страниц, которые не должны индексироваться, и пути Allow для исключений.
-
При необходимости задайте Crawl-delay (в секундах) для замедления агрессивных краулеров.
-
Добавьте URL карты сайта в нижней части.
-
Скопируйте результат и сохраните его как robots.txt в корневой директории вашего сайта.
Часто задаваемые вопросы
Безопасно ли здесь декодировать конфиденциальные данные? Да. Все декодирование происходит в вашем браузере с использованием JavaScript. Никакие данные не передаются на какой-либо сервер, поэтому ваши закодированные строки остаются полностью приватными.
В чём разница между Base64 и URL-безопасным Base64? Стандартный Base64 использует символы + и /, которые являются специальными символами в URL-адресах. URL-безопасный Base64 заменяет их на - и _ так, чтобы строка могла использоваться безопасно в URL-адресах и именах файлов без процентного кодирования.
Почему мой декодированный результат выглядит как бессмыслица? Если исходные данные были бинарными (такие как изображение, PDF или сжатый файл), декодированный результат не будет читаемым текстом. В этом случае строка Base64 представляет бинарный файл, а не текстовую строку.
Является ли Base64 формой шифрования? Нет. Base64 - это схема кодирования, а не шифрование. Любой человек может декодировать строку Base64 без ключа. Её никогда не следует использовать для защиты конфиденциальных данных — используйте для этого надлежащее шифрование.
Keywords: генератор robots.txt, файл robots.txt, блокировка краулеров, блокировка ботов, SEO-роботы, роботы sitemap, правила веб-краулеров