Генератор на Robots.txt
Какво е robots.txt?
robots.txt е текстов файл, поставен в корена на вашия уебсайт (напр. https://example.com/robots.txt), който казва на уеб роботите кои страници или секции могат или не могат да достъпват. Той е част от Robots Exclusion Protocol. Докато ботовете на търсачките обикновено го спазват, злонамерените ботове могат да го игнорират. Използвайте го, за да блокирате дублирани страници, административни области и частни секции от обхождане.
Как да използвате генератора на Robots.txt
-
Изберете предварителна настройка или започнете от нулата, като кликнете '+ Добави правило'.
-
Задайте полето User-agent, за да насочите към конкретен бот (използвайте * за всички ботове).
-
Добавете пътища Disallow за страници, които не искате да се обхождат, и пътища Allow за изключения.
-
По желание задайте Crawl-delay (в секунди), за да забавите агресивните роботи.
-
Добавете URL на картата на сайта в долната част.
-
Копирайте резултата и го запазете като robots.txt в основната директория на уебсайта ви.
Keywords: генератор robots.txt, файл robots.txt, блокиране на роботи, блокиране на ботове, SEO роботи, sitemap роботи, правила за уеб роботи