Robots.txt 生成器

Sitemap URL（可选）

已生成的 robots.txt

什么是 robots.txt？

robots.txt 是放置在网站根目录（如 https://example.com/robots.txt）的文本文件，用于告知网络爬虫哪些页面或区域可以或不可以访问。它是 Robots Exclusion Protocol 的一部分。搜索引擎爬虫通常会遵守此文件，但恶意爬虫可能会忽略它。使用它来阻止爬取重复页面、后台管理区域和私密内容。

如何使用 Robots.txt 生成器

选择预设模板，或点击"+ 添加规则"从头开始。
设置 User-agent 字段以针对特定爬虫（对所有爬虫使用 *）。
为不想被抓取的页面添加 Disallow 路径，为例外情况添加 Allow 路径。
可选设置 Crawl-delay（单位：秒）以减慢激进爬虫的访问频率。
在底部添加您的站点地图 URL。
复制输出内容，并将其保存为网站根目录下的 robots.txt 文件。

Keywords: robots.txt 生成器, robots.txt 文件, 屏蔽爬虫, 拦截机器人, SEO 机器人, 站点地图机器人, 网络爬虫规则