Генератор Robots.txt
Що таке robots.txt?
robots.txt — це текстовий файл, розміщений у кореневій директорії вашого сайту (наприклад, https://example.com/robots.txt), який повідомляє веб-краулерам, які сторінки або розділи вони можуть чи не можуть відвідувати. Він є частиною Robots Exclusion Protocol. Хоча боти пошукових систем зазвичай дотримуються його, шкідливі боти можуть його ігнорувати. Використовуйте його для блокування обходу дублікатів сторінок, адміністративних розділів і приватних секцій.
Як використовувати Генератор Robots.txt
-
Оберіть готовий шаблон або почніть з нуля, натиснувши '+ Додати правило'.
-
Задайте поле User-agent для націлення на конкретного бота (використовуйте * для всіх ботів).
-
Додайте шляхи Disallow для сторінок, які не мають індексуватися, і шляхи Allow для винятків.
-
За потреби задайте Crawl-delay (у секундах) для сповільнення агресивних краулерів.
-
Додайте URL карти сайту внизу.
-
Скопіюйте результат і збережіть його як robots.txt у кореневій директорії вашого сайту.
Keywords: генератор robots.txt, файл robots.txt, блокування краулерів, блокування ботів, SEO-роботи, роботи sitemap, правила веб-краулерів