Robots 生成器
可视化配置 User-Agent、Allow / Disallow 规则、Sitemap 与 Crawl-delay，一键生成标准 robots.txt。
1
功能说明
robots.txt 用于告诉搜索引擎爬虫哪些页面可以抓取、哪些禁止抓取。
- User-agent：指定爬虫，
*表示所有爬虫。 - Disallow：禁止抓取的路径，每行一个。
- Allow：在禁止范围内放行的路径。
- Sitemap：告知爬虫站点地图地址，利于收录。
2
操作
3
结果输出
自由看 · 在线工具 · 返回工具中心