产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

Noindex 检查:如何查看页面是否设置了 noindex

更新于 · 阅读约 6 分钟

简短回答 先在页面源代码中搜索“noindex”,再检查响应头里有没有 X-Robots-Tag。任何一个都会让页面不出现在 Google 中。想知道 Google 自己看到了什么,就把网址粘贴到 Search Console 的网址检查工具中,查看“Indexing allowed?”(是否允许编入索引)。在那里运行实时测试,检查的是今天的版本,而不是上次抓取的版本。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

如何检查页面是否设置了 noindex?

先在页面上看两个地方,再问 Google。Google Search Central 表示,noindex 有两种设置方式:页面代码中的 meta 标签,或 HTTP 响应头,而且“They have the same effect.”(两者效果相同)。只查其中一个,就可能漏掉另一个。

检查能查到什么用时您需要
1. 查看页面源代码代码中的 noindex meta 标签1 分钟任意浏览器
2. 响应头服务器发送的 noindex(X-Robots-Tag)2 分钟Chrome 或终端
3. 浏览器扩展两者都能查到,打开的每个页面都查几秒钟(安装后)一个扩展
4. 网址检查(URL Inspection)Google 实际看到了什么,以及今天是否还在2 分钟该网站的 Search Console 权限

检查 1 到 3 告诉您页面写了什么。检查 4 告诉您 Google 读到了什么。两者不一致时,决定您能否出现在搜索结果中的,是 Google 的答案。

检查 1:在页面源代码中搜索“noindex”

  1. 在浏览器中打开该页面。
  2. 在空白处点击右键,选择“查看网页源代码”(View page source)。在 Chrome 中,也可以在网址前输入 `view-source:`。
  3. 按 Ctrl+F(Mac 上按 Cmd+F),搜索 `noindex`。

起屏蔽作用的标签是一行以 `meta` 开头、包含 `name="robots"` 和 `content="noindex"` 的代码。慌之前,先看看这个词周围写了什么:

  • `name="robots"` 对所有搜索引擎生效。`name="googlebot"` 只对 Google 生效。
  • `content="none"` 也会屏蔽。Google 的规范说它等同于“noindex, nofollow”。
  • `name="googlebot-news"` 只影响 Google 新闻的结果。
  • 完全搜不到,对这项检查来说是好消息,但还要做检查 2。这个标签也可能不在页面头部:Google 表示它也“will respect robots meta tags in the body section”(会遵守正文部分中的 robots meta 标签)。

检查 2:查找 X-Robots-Tag 响应头

服务器可以不改页面代码,就通过一个名为 X-Robots-Tag 的响应头发送 noindex。响应头是服务器在发送页面本身之前先发的简短说明。Google 表示,对于没有代码可以放标签的文件,“such as PDF files, video files, or image files”(例如 PDF 文件、视频文件或图片文件),就用这种方式屏蔽。查看源代码永远看不到它。

在 Chrome 中:

  1. 在页面上点击右键,选择“检查”(Inspect),打开 Network 标签页。
  2. 重新加载页面。
  3. 点击第一行(页面本身的网址)。在 Headers 标签页中,滚动到 Response Headers。
  4. 查找 `x-robots-tag`。值中含有 `noindex` 或 `none` 就会屏蔽该页面。

如果您会用终端,`curl -sI https://example.com/your-page/` 一行命令就能打印出同样的响应头。Google 对响应头的名称和值不区分大小写,所以 `X-Robots-Tag` 和 `x-robots-tag` 是一回事。

检查 3:使用浏览器扩展

SEO 扩展会读取您打开的每个页面的标签和响应头,省得您重复做检查 1 和 2。举一个 Chrome 网上应用店的例子:Robots Exclusion Checker 会标出 robots.txt 屏蔽、robots meta 标签和 X-Robots-Tag 响应头,并显示完整的响应头。其他扩展也能做同样的事。网站改版后逐页点击检查时,扩展很方便,但它报告的是您的浏览器拿到的内容,不是 Google 拿到的内容。

检查 4:Search Console 中的网址检查

这是 Google 自己的答案。Google 的 noindex 指南建议用它“to see the HTML that Googlebot received while crawling the page.”(查看 Googlebot 抓取页面时收到的 HTML)。

  1. 打开 Search Console,把完整的页面网址粘贴到顶部的搜索栏。
  2. 展开 Page indexing(网页索引编制),找到 Indexing allowed?(是否允许编入索引)。如果显示“No”,Search Console 帮助说明您的网站“is returning a "noindex" tag or header”(正在返回“noindex”标签或响应头)。
  3. 第一次看到的结果是 Google 上次抓取的版本,不是当前的页面。点击 Test live URL(测试实际网址)检查页面现在的样子。
  4. 点击 View crawled page(查看已抓取的网页;实时测试中是 View tested page),查看 Google 拿到的 HTML 和 HTTP 响应头。

一次查很多页面时,网页索引编制报告会把 Google 因发现 noindex 而排除的所有网址归为一组。每个网站的实时测试和编入索引请求每天有次数限制,所以想看全站情况,就用这份报告。如何解读这份报告,请看小型企业如何使用 Google Search Console。

为什么各项检查结果不一致?

您看到的情况常见原因
源代码没问题,Google 显示“No”Google 的副本是旧的。实时测试显示今天的版本。
源代码没问题,实时测试中 Google 也显示“No”noindex 在响应头里(检查 2),或者有脚本在页面加载后添加了它
源代码中有 noindex,页面却仍在 Google 中Google 还没有重新抓取。Google 表示,对有些页面这“may take months”(可能需要几个月)。
“Indexing allowed?”显示“Yes”,但 robots.txt 屏蔽了该页面Google 读不到页面,所以看不到 noindex。Search Console 帮助说明,这种情况下该字段总是显示“Yes”。

用 JavaScript 搭建的网站要特别注意脚本这种情况。查看源代码显示的是脚本运行前的代码,所以可能漏掉后来添加的标签。Google 警告说,反过来也会出问题:如果它拿到的最初代码写着 noindex,它“may skip rendering”(可能会跳过渲染),这样负责删除标签的脚本可能根本不会运行。Google 的建议是:“If you do want the page indexed, don't use a noindex tag in the original page code.”(如果您确实想让页面被编入索引,就不要在原始页面代码中使用 noindex 标签。)

发现了不想要的 noindex?

在小型企业网站上,它通常来自某个设置,而不是手写的代码:

来源在哪里关闭
WordPress,整个网站设置 > 阅读 > “建议搜索引擎不索引本站点”(Discourage search engines from indexing this site)。WordPress 表示,它会给每个页面加上 noindex, nofollow 标签。网站上线后常常忘了关掉。
Yoast SEO,单个页面在页面编辑器中,Yoast 面板 > 高级(Advanced)> “Allow search engines to show this content in search results”(允许搜索引擎在搜索结果中显示此内容)设为“No”
Wix,单个页面页面与菜单(Pages & Menu)> 更多操作(More Actions)> SEO 基础(SEO basics)> 关闭“Let search engines index this page”(允许搜索引擎索引此页面)
响应头(检查 2)服务器或主机设置。请问您的网站技术人员或主机商。

修改之后:

  1. 再做一次检查 1 或 2,确认标签已经没了。
  2. 在网址检查中运行实时测试。“Indexing allowed?”应显示“Yes”。
  3. 点击 Request indexing(请求编入索引)。Search Console 帮助表示,编入索引“typically takes only a day or so”(通常只需一天左右),但也可能更久,而且不保证一定收录。

如果去掉 noindex 后页面仍然不出现,原因就是别的。请看已抓取或已发现,但尚未编入索引。

示例

以下为示意案例。

一位牙医的新网站上线后

上线两周后,Google 中一个页面都搜不到。查看首页源代码,发现一个值为 `noindex,nofollow` 的 robots meta 标签。开发人员在建站时勾选了 WordPress 的“建议搜索引擎不索引本站点”,上线后没有取消。取消勾选后,再为首页和主要服务页面请求编入索引,问题就开始解决了。

一家屋顶承包商的价目表 PDF

这家屋顶承包商希望价目表 PDF 不出现在 Google 中。PDF 没法查看源代码。网站技术人员为该文件设置了 X-Robots-Tag: noindex 响应头,检查 2 确认响应中已经有了它。

一家园林公司“又回来了”的服务页面

网址检查显示草坪养护页面“Indexing allowed? No”,但源代码没问题。实时测试显示“Yes”:标签上个月已经删除,而 Google 的副本更早。只剩下点击“请求编入索引”这一步。

常见问题

搜索 site:mydomain.com 能告诉我页面是否设置了 noindex 吗?

不可靠。页面搜不到的原因有很多,而设置了 noindex 的页面在 Google 重新抓取之前也可能还留在结果中。网址检查会给出原因。

nofollow 和 noindex 一样吗?

不一样。nofollow 是关于页面上链接的提示。noindex 让页面本身不出现在结果中。一个标签可以同时包含两者。

针对 Google 的 noindex 也会屏蔽 Bing 吗?

只有 `name="robots"` 针对所有搜索引擎;`name="googlebot"` 不是。Google 提到,有些搜索引擎“might interpret the noindex rule differently”(可能对 noindex 规则有不同理解),所以在其他搜索引擎上的结果可能不同。

可以把 noindex 写在 robots.txt 里吗?

不可以。Google 表示,robots.txt 文件中的 noindex“is not supported”(不受支持)。请使用 meta 标签或响应头。

您的情况不同?

继续阅读

下一篇检查整个网站的 noindex 标记一次网站上线、主题或插件更换,就可能让所有网页从 Google 消失。用 Search Console、一次免费抓取和一项标头检查,找出全站的 noindex。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Search Central: Block Search indexing with noindex
  2. Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
  3. Google Search Central: Understand the JavaScript SEO basics
  4. Search Console Help: URL Inspection tool
  5. Search Console Help: Page indexing report
  6. Chrome DevTools: Network features reference
  7. WordPress Documentation: Settings Reading Screen
  8. Yoast Help: How to noindex URLs
  9. Wix Help: Preventing Search Engines from Indexing Your Page
  10. Chrome Web Store: Robots Exclusion Checker