Генератор Robots.txt
Що таке robots.txt?
robots.txt — це текстовий файл, розміщений у кореневій директорії вашого сайту (наприклад, https://example.com/robots.txt), який повідомляє веб-краулерам, які сторінки або розділи вони можуть чи не можуть відвідувати. Він є частиною Robots Exclusion Protocol. Хоча боти пошукових систем зазвичай дотримуються його, шкідливі боти можуть його ігнорувати. Використовуйте його для блокування обходу дублікатів сторінок, адміністративних розділів і приватних секцій.
Як використовувати Генератор Robots.txt
-
Оберіть готовий шаблон або почніть з нуля, натиснувши '+ Додати правило'.
-
Задайте поле User-agent для націлення на конкретного бота (використовуйте * для всіх ботів).
-
Додайте шляхи Disallow для сторінок, які не мають індексуватися, і шляхи Allow для винятків.
-
За потреби задайте Crawl-delay (у секундах) для сповільнення агресивних краулерів.
-
Додайте URL карти сайту внизу.
-
Скопіюйте результат і збережіть його як robots.txt у кореневій директорії вашого сайту.
Часто задавані питання
Чи безпечно декодувати конфіденційні дані тут? Так. Все декодування відбувається у вашому браузері за допомогою JavaScript. Жодні дані не передаються на жоден сервер, тому ваші закодовані рядки залишаються повністю приватними.
Яка різниця між Base64 і URL-безпечним Base64? Стандартний Base64 використовує символи + і /, які є спеціальними символами в URL-адресах. URL-безпечний Base64 замінює їх на - і _, щоб рядок можна було безпечно використовувати в URL-адресах і іменах файлів без кодування відсотків.
Чому мій декодований результат виглядає як абракадабра? Якщо вихідні дані були двійковими (наприклад, зображення, PDF або стислий файл), декодований результат не буде читаємим текстом. У цьому випадку рядок Base64 представляє двійковий файл, а не текстовий рядок.
Чи є Base64 формою шифрування? Ні. Base64 – це схема кодування, а не шифрування. Будь-хто може декодувати рядок Base64 без ключа. Його ніколи не слід використовувати для захисту конфіденційних даних – для цього використовуйте належне шифрування.
Keywords: генератор robots.txt, файл robots.txt, блокування краулерів, блокування ботів, SEO-роботи, роботи sitemap, правила веб-краулерів