Robots.txt生成器

robots.txt文件是放置在网站根目录（如example.com/robots.txt）的纯文本文件，告诉网络爬虫哪些页面可以访问，哪些不可以。它遵循机器人排除协议标准。

使用此生成器可视化地构建robots.txt规则。添加User-agent块，设置Allow/Disallow指令，添加站点地图URL，然后下载或复制生成的文件并上传到网站根目录。

使用'屏蔽AI机器人'预设，或手动为GPTBot、ChatGPT-User、CCBot、Google-Extended、ClaudeBot等AI爬虫添加User-agent块并设置'Disallow: /'。

'Disallow: /'阻止指定的user-agent访问网站上的任何页面。斜杠(/)代表网站根目录及其下的所有路径。

Crawl-delay指令告诉爬虫在连续请求之间等待指定的秒数。并非所有爬虫都遵守——Google忽略Crawl-delay，但Bing和Yandex支持它。

是的。添加'Sitemap:'指令可以帮助搜索引擎更高效地发现所有页面。可以包含多个站点地图URL。

使用预览下方的URL测试器。输入URL路径和user-agent，即可检查根据当前规则该路径是被允许还是被屏蔽。

'Disallow'阻止爬虫访问指定路径。'Allow'明确允许访问，用于覆盖更广泛的Disallow规则。规则冲突时，最具体的（最长的）路径匹配优先。

不能。robots.txt是指南而非安全机制。正规爬虫会遵守，但恶意机器人可以忽略。要真正限制访问，请使用服务器端身份验证。

通配符user-agent(*)将规则应用于所有没有特定块的爬虫。如果存在特定的user-agent块（如Googlebot），该机器人将遵循自己的块而非通配符。