结论先行：按实际站点结构生成两份抓取约定文件，AI 爬虫策略单独可控，避免误屏蔽全站。所有计算都在你的浏览器里完成，不上传任何站点数据。
这个工具解决什么
- 常见 WordPress 路径预置勾选：/wp-admin/、/wp-includes/、站内搜索、参数 URL
- Sitemap 地址、Crawl-delay 可配置，输出即拷即用
- AI 爬虫单独分组：GPTBot / ClaudeBot / PerplexityBot / Google-Extended 等可逐个决定
- 同步生成 llms.txt：站点简介 + 核心页面清单 + 更新说明
- 内置危险检查：勾选 Disallow: / 会直接给出红色警告
怎么用
- 填站点域名与 sitemap 地址。
- 按需勾选屏蔽路径，注意不要勾「屏蔽全站」。
- 决定 AI 爬虫策略：希望被 AI 搜索引用就保持允许。
- 复制两份文本，分别放到站点根目录的 robots.txt 与 llms.txt。
你会得到什么
- 可直接上传的 robots.txt 文本
- 结构化的 llms.txt 文本
- 一键复制 / 下载 .txt 文件
数据与隐私
生成的文本只保存在当前页面，域名与页面清单不会被发送或存储。
常见问题
robots.txt 能阻止页面被收录吗？
不能可靠阻止。它是抓取约定，被链接的 URL 仍可能被索引。要彻底不收录请用 noindex，并配合访问控制。
llms.txt 是官方标准吗？
目前是社区约定，不是 W3C 或搜索引擎强制标准。它的作用是为 AI 抓取与引用提供一份结构清晰的站点说明，属于「做了有好处、不做不掉排名」的增强项。
该不该屏蔽 AI 爬虫？
看业务。内容站希望被引用就保持允许；有版权或付费内容则按需屏蔽特定 UA。本工具默认允许，并把选择权与风险说明都摆在明处。
本页为方案示例内容。在后台发布同 slug 的案例 / 服务 / 工具后，会自动切换为真实文章模板。