检查整个网站的 noindex 标记
简短回答 打开 Search Console 的网页索引编制报告,找原因为“Excluded by 'noindex' tag”(已被“noindex”标记排除)的网页。如果您希望被搜到的网页在列表里,就说明有东西在让 Google 跳过它们。然后用免费的抓取工具抓取整个网站,找出每一个网页,再检查一个网页的 HTTP 标头,因为 noindex 可能藏在网页代码之外。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话怎样检查整个网站有没有 noindex?
noindex 是网页代码里、或服务器回复中的一行指令,告诉 Google 不要把这个网页放进搜索结果。Google 这样描述之后会发生什么:
"When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it." (Google Search Central: Block Search indexing with noindex) 译文:“当 Googlebot 抓取该网页并提取到该标记或标头时,Google 会将该网页从 Google 搜索结果中完全移除,无论其他网站是否链接到它。”
一个网页误加了 noindex,问题不大。但如果某个设置把它加到了每个网页上,您的搜索流量可能会清零。按以下顺序做三项检查:
| 检查 | 能发现什么 | 费用 |
|---|---|---|
| 1. Search Console,索引 > 网页 | Google 发现带 noindex 的每个网页 | 免费 |
| 2. 网站抓取工具 | 现在带 noindex 的每个网页,包括 Google 还没重新访问的网页 | 500 个网址以内免费 |
| 3. 首页的代码和 HTTP 标头 | 由服务器设置、在网页编辑器里看不到的 noindex | 免费 |
在 Google 上搜索 `site:yourdomain.com` 可以快速看一眼,但 Google 说它的结果“not always exhaustive”(并不总是完整的)。它只显示已收录的网页,不会告诉您某个网页为什么缺失。
第 1 步:查看 Search Console 中的 noindex 列表
在 Search Console 中打开“索引 > 网页”。在“网页为何未编入索引”下找到“Excluded by 'noindex' tag”(已被“noindex”标记排除),点击查看示例网页。列表最多显示 1,000 个示例(Search Console Help: Page indexing report)。
把列表分成两堆来看:
- 可以保留: 感谢页、登录页、购物车和结账页、站内搜索结果页、标签归档页。
- 有问题: 首页、服务页、地区页、博客文章。
如果“有问题”的那堆很长,就找规律。全部博客文章都在里面,说明是某个内容类型的设置。每个网页都在,说明是全站开关。Search Console 的帮助文档也指出了一个警示信号:已编入索引的网页减少、但没有新错误,可能说明您正在“via robots.txt, 'noindex' or a required login”(通过 robots.txt、noindex 或强制登录)屏蔽网页。
这个列表只反映 Google 上次访问时看到的情况。Google 说重新访问可能要很久:
"Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page." (Google Search Central: Block Search indexing with noindex) 译文:“根据网页在互联网上的重要程度,Googlebot 可能需要数月才会重新访问一个网页。”
所以上周加上的 noindex 可能还没出现在列表里。这就是第 2 步的意义。
第 2 步:抓取网站,查看每个网页今天的状态
抓取工具是一种程序,它像 Google 一样访问您网站上的每个网页,并列出它发现的内容。Screaming Frog SEO Spider 可以免费抓取最多 500 个网址,足够大多数服务型企业的网站使用;购买年度付费许可后就没有数量限制(Screaming Frog)。无论 noindex 在网页代码里还是在 HTTP 标头里,它都能报告出来。
- 下载软件,粘贴您的首页地址,开始抓取。
- 打开 Directives 标签页,筛选 noindex。
- 导出列表,和上面“可以保留”的那堆对比。
每次网站上线、更换主题或更新 SEO 插件后,都再运行一次。小网站只要几分钟。
第 3 步:检查 HTTP 标头,而不只是网页
Google 接受两个位置的 noindex:网页代码中的 robots meta 标记(包含 `name="robots" content="noindex"`),或服务器随网页发送的 HTTP 标头(`X-Robots-Tag: noindex`)。标头永远不会出现在您的网页编辑器或“查看网页源代码”里。
检查方法:在 Chrome 中打开您的首页,右键点击,选择“检查”,打开 Network 标签页并刷新。点击第一行(您的网页),查看响应标头。Search Console 的帮助文档也是这么说的:在“the page source or response headers for the word 'noindex'”(网页源代码或响应标头中搜索“noindex”一词)。标头里的 noindex 通常来自主机服务商、安全插件或 CDN 规则,而不是您的建站工具。
如果只查一个网页,用 Search Console 的网址检查(URL Inspection)工具就能确定。运行实时测试,看“Indexing allowed?”(是否允许编入索引?)。显示“No”就说明 noindex 还在。
全站 noindex 是从哪里来的?
大多数来自某人故意打开、后来又忘了关的开关。
| 来源 | 会发生什么 | 去哪里看 |
|---|---|---|
| WordPress 的“Discourage search engines”(建议搜索引擎不索引本站点) | 给每个网页加上 noindex 标记。常常是建站时打开后忘了关,或从测试(staging)网站复制过来 | 设置 > 阅读(WordPress Documentation) |
| SEO 插件的内容类型 | Yoast 对每种类型(文章、页面、产品)都有开关,关闭后整个类型都会被加上 noindex | Yoast SEO > Settings > Content types(Yoast) |
| 插件更换 | 新 SEO 插件带来自己的默认设置,或两个插件设置冲突 | 插件列表;只保留一个 SEO 插件 |
| Wix | “Let search engines index your site”(允许搜索引擎索引您的网站)开关被关闭 | SEO Dashboard > Go to SEO Settings(Wix Help Center) |
| Shopify | 私密模式会对访客和搜索引擎隐藏“all of your online store's pages”(您网店的所有页面) | Online Store > Preferences > Private mode(Shopify Help Center) |
| 服务器或 CDN | 为测试网站添加的 `X-Robots-Tag` 标头被推送到了正式网站 | 询问您的主机服务商或开发人员 |
| 主题或模板 | 某个模板带有 noindex,用它做的每个网页都会带上 | 该模板的 SEO 设置 |
Google 自己的上线检查清单点出了这个典型情况:
"Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration." (Google Search Central: Site moves with URL changes) 译文:“别忘了移除仅在迁移期间需要的 noindex 或 robots.txt 屏蔽。”
完整的上线后流量检查,请看改版后流量为什么下降。
不要用 robots.txt 来解决
robots.txt 是一个文件,告诉抓取工具哪些网页不要访问。它不是 noindex,反而可能把 noindex 藏起来。Google 警告说,如果网页被 robots.txt 屏蔽,“the crawler will never see the noindex rule, and the page can still appear in search results”(抓取工具永远看不到 noindex 规则,该网页仍可能出现在搜索结果中)。所以:
- 想让网页不出现在 Google:使用 noindex,并允许 Google 抓取它。
- 想让网页重新出现:移除 noindex。不要“为了保险”再加一条 robots.txt 屏蔽。
抓取预算(Google 在您网站上抓取的网页数量)也是同样的道理。Google 告诉大型网站不要用 noindex 来节省抓取预算,因为 Google“will still request, but then drop the page”(仍会请求该网页,然后再将其丢弃)。小企业网站不需要考虑抓取预算。
我已经移除了,Google 多快会恢复?
Google 重新抓取后,网页就会回来,重要网页优先。
- 确认 noindex 已经移除:重新运行抓取工具和实时网址测试。
- 在网址检查中,为首页和主要服务页点击“请求编入索引”。
- 在 Search Console 中重新提交站点地图,让 Google 看到您希望被搜到的每个网页。
网页重新编入索引后,排名也会恢复。没有任何保证的日期,访问较少的网页可能需要更久。
示例
以下为示意案例,数字均为虚构。
改版后的水管工(美元)
设计师在测试地址上搭建新网站时,勾选了 WordPress 的“Discourage search engines”(建议搜索引擎不索引本站点),然后直接把网站上线。六周内,来自搜索的电话从每月约 40 个降到 10 个。抓取工具显示全部 60 个网页都带有 noindex。取消勾选这一个选项并请求编入索引,就解决了问题根源。
更换了 SEO 插件的多伦多会计师
Search Console 把全部 25 篇博客文章列在“Excluded by 'noindex' tag”(已被“noindex”标记排除)下,但服务页都正常。新插件把“文章”类型设成了隐藏。改一个开关就解决了。
网页源代码干净的诊所
网页代码里没有 noindex,但实时网址测试显示“Indexing allowed? No”(是否允许编入索引?否)。响应标头中出现了 `X-Robots-Tag: noindex`,是主机服务商为测试副本添加的。主机服务商删除了这条规则。
常见问题
网站有一些 noindex 网页是坏事吗?
不是。Google 把 noindex 标记列为网页不被编入索引的正当原因之一。感谢页、登录页和结账页带 noindex 很正常。
noindex 检查网站会检查我的整个网站吗?
大多数免费检查工具一次只检查一个网址。要检查每个网页,请用 Search Console 的网页索引编制报告和抓取工具。
带 noindex 的网页还会出现在 Google 上吗?
会,直到 Google 重新抓取它;或者如果 robots.txt 阻止了 Google 看到这个标记,也会继续出现。
您的情况不同?
- 您的网站在 Google 上完全搜不到:网站在 Google 上搜不到。
- Search Console 显示的是“Crawled, currently not indexed”(已抓取,尚未编入索引):Search Console 中网页未编入索引。
- 您刚开始用 Search Console:小企业如何使用 Google Search Console。
- 您在选择建站平台:Wix、Squarespace 还是 WordPress 更利于 SEO。
- 您希望有人替您盯着索引情况:SEO 与 GEO 智能体。