Robots.txt 生成器

Sitemap URL（可选）

已生成的 robots.txt

什么是 robots.txt？

robots.txt 是放置在网站根目录（如 https://example.com/robots.txt）的文本文件，用于告知网络爬虫哪些页面或区域可以或不可以访问。它是 Robots Exclusion Protocol 的一部分。搜索引擎爬虫通常会遵守此文件，但恶意爬虫可能会忽略它。使用它来阻止爬取重复页面、后台管理区域和私密内容。

如何使用 Robots.txt 生成器

选择预设模板，或点击"+ 添加规则"从头开始。
设置 User-agent 字段以针对特定爬虫（对所有爬虫使用 *）。
为不想被抓取的页面添加 Disallow 路径，为例外情况添加 Allow 路径。
可选设置 Crawl-delay（单位：秒）以减慢激进爬虫的访问频率。
在底部添加您的站点地图 URL。
复制输出内容，并将其保存为网站根目录下的 robots.txt 文件。

常见问题

在这里解码敏感数据是否安全？ 是的。所有解码都在您的浏览器中使用JavaScript进行。没有数据被传输到任何服务器，因此您的编码字符串完全保持私密。

Base64和URL安全Base64之间的区别是什么？ 标准Base64使用+和/字符，这些是URL中的特殊字符。URL安全Base64将其替换为-和_，这样字符串可以在URL和文件名中安全使用，无需进行百分比编码。

为什么我解码的输出看起来像乱码？ 如果原始数据是二进制文件（如图像、PDF或压缩文件），解码的输出将不是可读文本。在这种情况下，Base64字符串代表二进制文件，而不是文本字符串。

Base64是一种加密形式吗？ 不是。Base64是编码方案，不是加密。任何人都可以在没有密钥的情况下解码Base64字符串。它不应该用于保护敏感数据——应使用适当的加密。

Keywords: robots.txt 生成器, robots.txt 文件, 屏蔽爬虫, 拦截机器人, SEO 机器人, 站点地图机器人, 网络爬虫规则