Генератор на Robots.txt
Какво е robots.txt?
robots.txt е текстов файл, поставен в корена на вашия уебсайт (напр. https://example.com/robots.txt), който казва на уеб роботите кои страници или секции могат или не могат да достъпват. Той е част от Robots Exclusion Protocol. Докато ботовете на търсачките обикновено го спазват, злонамерените ботове могат да го игнорират. Използвайте го, за да блокирате дублирани страници, административни области и частни секции от обхождане.
Как да използвате генератора на Robots.txt
-
Изберете предварителна настройка или започнете от нулата, като кликнете '+ Добави правило'.
-
Задайте полето User-agent, за да насочите към конкретен бот (използвайте * за всички ботове).
-
Добавете пътища Disallow за страници, които не искате да се обхождат, и пътища Allow за изключения.
-
По желание задайте Crawl-delay (в секунди), за да забавите агресивните роботи.
-
Добавете URL на картата на сайта в долната част.
-
Копирайте резултата и го запазете като robots.txt в основната директория на уебсайта ви.
Често задавани въпроси
Безопасно ли е да декодирам чувствителни данни тук? Да. Всички декодирания се случват в браузъра ви, използвайки JavaScript. Никакви данни не се предават до сървър, затова вашите кодирани низове остават напълно частни.
Каква е разликата между Base64 и URL-safe Base64? Стандартният Base64 използва символите + и /, които са специални символи в URL адресите. URL-safe Base64 ги замества с - и _, така че низът може безопасно да се използва в URL адреси и имена на файлове без процентно кодиране.
Защо декодираният ми резултат изглежда като безсмислица? Ако оригиналните данни бяха двоични (като изображение, PDF или компресиран файл), декодираният резултат няма да е четим текст. В този случай Base64 низът представлява двоичен файл, а не текстов низ.
Криптиране ли е Base64? Не. Base64 е схема за кодиране, не криптиране. Всеки може да декодира Base64 низ без ключ. Никога не трябва да се използва за защита на чувствителни данни — използвайте надлежно криптиране за това.
Keywords: генератор robots.txt, файл robots.txt, блокиране на роботи, блокиране на ботове, SEO роботи, sitemap роботи, правила за уеб роботи