自由看robots 元标签 (Meta Tag) 直接写在页面 <head> 中，是比 robots.txt 更强大、更精确的索引指令。它告诉搜索引擎如何处理和显示您的页面。
常见指令及其用途：
- <meta name=”robots” content=”noindex”>: 阻止搜索引擎将此页面添加到其索引中。用于低质量、重复或私有页面。
- <meta name=”robots” content=”nofollow”>: 阻止搜索引擎跟踪页面上的所有链接。用于评论区或广告链接。
- <meta name=”robots” content=”noarchive”>: 阻止搜索引擎在搜索结果中显示该页面的缓存链接。
- <meta name=”robots” content=”none”>: 等同于
noindex, nofollow。
与 Robots.txt 的关系：
如果一个页面同时被 robots.txt 阻止抓取，又使用了 noindex 元标签，那么 noindex 指令将永远不会被 Googlebot 看到，页面仍可能被索引。正确做法是：
阻止索引，但允许抓取： 移除 robots.txt 禁令，使用 <meta name="robots" content="noindex">。