Noindex 检查:如何查看页面是否设置了 noindex
简短回答 先在页面源代码中搜索“noindex”,再检查响应头里有没有 X-Robots-Tag。任何一个都会让页面不出现在 Google 中。想知道 Google 自己看到了什么,就把网址粘贴到 Search Console 的网址检查工具中,查看“Indexing allowed?”(是否允许编入索引)。在那里运行实时测试,检查的是今天的版本,而不是上次抓取的版本。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话如何检查页面是否设置了 noindex?
先在页面上看两个地方,再问 Google。Google Search Central 表示,noindex 有两种设置方式:页面代码中的 meta 标签,或 HTTP 响应头,而且“They have the same effect.”(两者效果相同)。只查其中一个,就可能漏掉另一个。
| 检查 | 能查到什么 | 用时 | 您需要 |
|---|---|---|---|
| 1. 查看页面源代码 | 代码中的 noindex meta 标签 | 1 分钟 | 任意浏览器 |
| 2. 响应头 | 服务器发送的 noindex(X-Robots-Tag) | 2 分钟 | Chrome 或终端 |
| 3. 浏览器扩展 | 两者都能查到,打开的每个页面都查 | 几秒钟(安装后) | 一个扩展 |
| 4. 网址检查(URL Inspection) | Google 实际看到了什么,以及今天是否还在 | 2 分钟 | 该网站的 Search Console 权限 |
检查 1 到 3 告诉您页面写了什么。检查 4 告诉您 Google 读到了什么。两者不一致时,决定您能否出现在搜索结果中的,是 Google 的答案。
检查 1:在页面源代码中搜索“noindex”
- 在浏览器中打开该页面。
- 在空白处点击右键,选择“查看网页源代码”(View page source)。在 Chrome 中,也可以在网址前输入 `view-source:`。
- 按 Ctrl+F(Mac 上按 Cmd+F),搜索 `noindex`。
起屏蔽作用的标签是一行以 `meta` 开头、包含 `name="robots"` 和 `content="noindex"` 的代码。慌之前,先看看这个词周围写了什么:
- `name="robots"` 对所有搜索引擎生效。`name="googlebot"` 只对 Google 生效。
- `content="none"` 也会屏蔽。Google 的规范说它等同于“noindex, nofollow”。
- `name="googlebot-news"` 只影响 Google 新闻的结果。
- 完全搜不到,对这项检查来说是好消息,但还要做检查 2。这个标签也可能不在页面头部:Google 表示它也“will respect robots meta tags in the body section”(会遵守正文部分中的 robots meta 标签)。
检查 2:查找 X-Robots-Tag 响应头
服务器可以不改页面代码,就通过一个名为 X-Robots-Tag 的响应头发送 noindex。响应头是服务器在发送页面本身之前先发的简短说明。Google 表示,对于没有代码可以放标签的文件,“such as PDF files, video files, or image files”(例如 PDF 文件、视频文件或图片文件),就用这种方式屏蔽。查看源代码永远看不到它。
在 Chrome 中:
- 在页面上点击右键,选择“检查”(Inspect),打开 Network 标签页。
- 重新加载页面。
- 点击第一行(页面本身的网址)。在 Headers 标签页中,滚动到 Response Headers。
- 查找 `x-robots-tag`。值中含有 `noindex` 或 `none` 就会屏蔽该页面。
如果您会用终端,`curl -sI https://example.com/your-page/` 一行命令就能打印出同样的响应头。Google 对响应头的名称和值不区分大小写,所以 `X-Robots-Tag` 和 `x-robots-tag` 是一回事。
检查 3:使用浏览器扩展
SEO 扩展会读取您打开的每个页面的标签和响应头,省得您重复做检查 1 和 2。举一个 Chrome 网上应用店的例子:Robots Exclusion Checker 会标出 robots.txt 屏蔽、robots meta 标签和 X-Robots-Tag 响应头,并显示完整的响应头。其他扩展也能做同样的事。网站改版后逐页点击检查时,扩展很方便,但它报告的是您的浏览器拿到的内容,不是 Google 拿到的内容。
检查 4:Search Console 中的网址检查
这是 Google 自己的答案。Google 的 noindex 指南建议用它“to see the HTML that Googlebot received while crawling the page.”(查看 Googlebot 抓取页面时收到的 HTML)。
- 打开 Search Console,把完整的页面网址粘贴到顶部的搜索栏。
- 展开 Page indexing(网页索引编制),找到 Indexing allowed?(是否允许编入索引)。如果显示“No”,Search Console 帮助说明您的网站“is returning a "noindex" tag or header”(正在返回“noindex”标签或响应头)。
- 第一次看到的结果是 Google 上次抓取的版本,不是当前的页面。点击 Test live URL(测试实际网址)检查页面现在的样子。
- 点击 View crawled page(查看已抓取的网页;实时测试中是 View tested page),查看 Google 拿到的 HTML 和 HTTP 响应头。
一次查很多页面时,网页索引编制报告会把 Google 因发现 noindex 而排除的所有网址归为一组。每个网站的实时测试和编入索引请求每天有次数限制,所以想看全站情况,就用这份报告。如何解读这份报告,请看小型企业如何使用 Google Search Console。
为什么各项检查结果不一致?
| 您看到的情况 | 常见原因 |
|---|---|
| 源代码没问题,Google 显示“No” | Google 的副本是旧的。实时测试显示今天的版本。 |
| 源代码没问题,实时测试中 Google 也显示“No” | noindex 在响应头里(检查 2),或者有脚本在页面加载后添加了它 |
| 源代码中有 noindex,页面却仍在 Google 中 | Google 还没有重新抓取。Google 表示,对有些页面这“may take months”(可能需要几个月)。 |
| “Indexing allowed?”显示“Yes”,但 robots.txt 屏蔽了该页面 | Google 读不到页面,所以看不到 noindex。Search Console 帮助说明,这种情况下该字段总是显示“Yes”。 |
用 JavaScript 搭建的网站要特别注意脚本这种情况。查看源代码显示的是脚本运行前的代码,所以可能漏掉后来添加的标签。Google 警告说,反过来也会出问题:如果它拿到的最初代码写着 noindex,它“may skip rendering”(可能会跳过渲染),这样负责删除标签的脚本可能根本不会运行。Google 的建议是:“If you do want the page indexed, don't use a noindex tag in the original page code.”(如果您确实想让页面被编入索引,就不要在原始页面代码中使用 noindex 标签。)
发现了不想要的 noindex?
在小型企业网站上,它通常来自某个设置,而不是手写的代码:
| 来源 | 在哪里关闭 |
|---|---|
| WordPress,整个网站 | 设置 > 阅读 > “建议搜索引擎不索引本站点”(Discourage search engines from indexing this site)。WordPress 表示,它会给每个页面加上 noindex, nofollow 标签。网站上线后常常忘了关掉。 |
| Yoast SEO,单个页面 | 在页面编辑器中,Yoast 面板 > 高级(Advanced)> “Allow search engines to show this content in search results”(允许搜索引擎在搜索结果中显示此内容)设为“No” |
| Wix,单个页面 | 页面与菜单(Pages & Menu)> 更多操作(More Actions)> SEO 基础(SEO basics)> 关闭“Let search engines index this page”(允许搜索引擎索引此页面) |
| 响应头(检查 2) | 服务器或主机设置。请问您的网站技术人员或主机商。 |
修改之后:
- 再做一次检查 1 或 2,确认标签已经没了。
- 在网址检查中运行实时测试。“Indexing allowed?”应显示“Yes”。
- 点击 Request indexing(请求编入索引)。Search Console 帮助表示,编入索引“typically takes only a day or so”(通常只需一天左右),但也可能更久,而且不保证一定收录。
如果去掉 noindex 后页面仍然不出现,原因就是别的。请看已抓取或已发现,但尚未编入索引。
示例
以下为示意案例。
一位牙医的新网站上线后
上线两周后,Google 中一个页面都搜不到。查看首页源代码,发现一个值为 `noindex,nofollow` 的 robots meta 标签。开发人员在建站时勾选了 WordPress 的“建议搜索引擎不索引本站点”,上线后没有取消。取消勾选后,再为首页和主要服务页面请求编入索引,问题就开始解决了。
一家屋顶承包商的价目表 PDF
这家屋顶承包商希望价目表 PDF 不出现在 Google 中。PDF 没法查看源代码。网站技术人员为该文件设置了 X-Robots-Tag: noindex 响应头,检查 2 确认响应中已经有了它。
一家园林公司“又回来了”的服务页面
网址检查显示草坪养护页面“Indexing allowed? No”,但源代码没问题。实时测试显示“Yes”:标签上个月已经删除,而 Google 的副本更早。只剩下点击“请求编入索引”这一步。
常见问题
搜索 site:mydomain.com 能告诉我页面是否设置了 noindex 吗?
不可靠。页面搜不到的原因有很多,而设置了 noindex 的页面在 Google 重新抓取之前也可能还留在结果中。网址检查会给出原因。
nofollow 和 noindex 一样吗?
不一样。nofollow 是关于页面上链接的提示。noindex 让页面本身不出现在结果中。一个标签可以同时包含两者。
针对 Google 的 noindex 也会屏蔽 Bing 吗?
只有 `name="robots"` 针对所有搜索引擎;`name="googlebot"` 不是。Google 提到,有些搜索引擎“might interpret the noindex rule differently”(可能对 noindex 规则有不同理解),所以在其他搜索引擎上的结果可能不同。
可以把 noindex 写在 robots.txt 里吗?
不可以。Google 表示,robots.txt 文件中的 noindex“is not supported”(不受支持)。请使用 meta 标签或响应头。
您的情况不同?
- 整个网站都不在 Google 中:网站在 Google 上搜不到。
- noindex 已经去掉,但页面仍未编入索引:已抓取或已发现,但尚未编入索引。
- 您刚开始用 Search Console:小型企业如何使用 Google Search Console。
- 您正在选择或更换建站工具:Wix 或 Squarespace 对 SEO 不好吗?。
- 您希望有人替您检查收录情况:SEO 与 GEO 智能体。