索引障碍:所有让页面进不了 Google 的原因
简短回答 只有当 Googlebot 能访问页面、服务器返回 200(成功)状态码、并且页面有可读内容时,Google 才会收录它。任何一项出问题都会阻止索引:noindex 标记、robots.txt 规则、登录要求、4xx 或持续的 5xx 错误、重定向、指向其他网址的规范标记,或只有 JavaScript 才能显示的内容。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话哪些情况会阻止 Google 索引页面?
Google 的门槛有三条。页面符合条件需要满足:"Googlebot isn't blocked"(Googlebot 未被屏蔽)、"Google receives an HTTP 200 (success) status code"(Google 收到 HTTP 200(成功)状态码),以及 "The page has indexable content"(页面有可索引的内容)(Google Search Central:技术要求)。三条都满足也不保证一定被索引;但只要有一条不满足,几乎肯定进不了索引。
Googlebot 是 Google 的爬虫,也就是访问网页的程序。状态码是服务器随每个页面返回的三位数字(200 表示正常,404 表示找不到)。
| 障碍 | 作用 | 在小企业网站上藏在哪里 | 如何发现 |
|---|---|---|---|
| noindex 标记或标头 | 让 Google 把页面移出索引 | WordPress、Wix 或 SEO 插件里的“对搜索引擎隐藏”开关;改版后忘了关 | 网址检查会写明原因是 noindex |
| robots.txt 规则 | 让 Google 无法读取页面 | 从测试网站复制过来的 `Disallow: /` | Search Console 的 robots.txt 报告 |
| 登录或密码 | Googlebot 不会抓取 | 会员区、客户门户、还在“建设中”而设了密码的网站 | 用浏览器无痕窗口打开页面 |
| 4xx 错误(404、410、403) | 页面不会被索引;已索引的会被移除 | 删除或改名的页面、返回 403 的安全插件 | 网址检查会显示状态码 |
| 5xx 错误或宕机 | 抓取变慢;持续出错的页面会被移除 | 不稳定的主机、过期的套餐、出故障的插件 | Search Console 的抓取统计信息报告 |
| 软 404 | 页面显示“找不到”或内容为空,却返回 200 | 空的分类页、没有内容的缺货页 | 网页索引编制报告会列出软 404 |
| 重定向 | 只有目标页面会被索引 | 旧网址全部转到首页 | 网址检查会显示最终网址 |
| 规范标记指向别处 | Google 改为索引另一个网址 | 模板在每个页面都把首页设为规范网址 | 网址检查会显示 Google 选定的规范网址 |
| 只有 JavaScript 才显示的内容 | Google 可能索引到一个空壳 | 用脚本加载的预约插件、菜单或评价 | 网址检查:查看已抓取的网页 |
| 移除请求 | 隐藏该网址约六个月 | 以前负责网站的人提交的 | Search Console 的移除工具 |
每一行的出处见下文各节。垃圾内容问题和人工处置也会让页面进不了索引,见 Google 人工处置。
noindex 与 robots.txt:让页面一直卡住的错误
两者作用不同,混用反而适得其反。robots.txt 控制抓取,noindex 控制索引。Google 对 robots.txt 说得很直白:
"It is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 译文:“它不是把网页挡在 Google 之外的机制。要让网页不出现在 Google 中,请用 noindex 阻止索引,或用密码保护该页面。”
被 robots.txt 屏蔽的页面,如果有其他网站链接它,仍可能以一个光秃秃的链接出现,"without visiting the page"(Google 并未访问该页面)(同一页面)。如果您给一个被 robots.txt 屏蔽的页面加上 noindex,Google 根本读不到这个标记:"the crawler will never see the noindex rule, and the page can still appear in search results"(爬虫永远看不到 noindex 规则,页面仍可能出现在搜索结果中)(Google Search Central:用 noindex 阻止搜索索引)。在 robots.txt 里写 noindex 则 "is not supported by Google"(Google 不支持)(同一页面)。
noindex 也可能藏在页面代码之外。`X-Robots-Tag` HTTP 标头起同样的作用,而且是在服务器上设置的,所以在页面源代码里看不到(同一页面)。可以用网址检查或 `curl -I https://yourdomain.com/page` 来查。
去掉 noindex 后,Google 要重新访问才会发现。对访问较少的页面,"it may take months for Googlebot to revisit"(Googlebot 可能要几个月才会再次访问)(同一页面),所以请在网址检查中请求编入索引。
服务器错误和宕机:页面什么时候会掉出索引?
短暂中断没关系,反复出问题就不行。遇到 5xx 错误(500、502、503)时,Google 会放慢抓取。Google 表示 "already indexed URLs are preserved in the index, but eventually dropped"(已索引的网址会暂时保留在索引中,但最终会被移除),"persistently return a server error"(持续返回服务器错误)的网址会被移除(Google Search Central:HTTP 状态码)。
有两个细节常让企业主中招:
- robots.txt 出错会让整个网站停摆。 如果 robots.txt 返回服务器错误,"For the first 12 hours, Google stops crawling the site"(最初 12 小时内,Google 会停止抓取该网站),之后最多 30 天使用最后一份正常的副本(Google Search Central:robots.txt 规范)。没有 robots.txt(404)则没问题:Google 会认为没有任何限制(同一页面)。
- 维护模式设置不当。 暂停一两天的话,Google 建议使用 503 错误页面;更久的话,请保留一个正常的首页(Google Search Central:暂时暂停或停用网站)。Google 还提醒:"Don't return a 503 HTTP response status code for the robots.txt file because this blocks all crawling"(不要让 robots.txt 文件返回 503 HTTP 状态码,因为这会阻止所有抓取)(同一页面)。
错误页面永远不会被索引:"Client and server error pages aren't indexed"(客户端和服务器错误页面不会被索引)(Google Search Central:技术要求)。看起来像错误、却返回 200 的页面就是软 404:用成功状态码 "telling the user that the page does not exist"(告诉用户页面不存在)的页面,或 "with no main content"(没有主要内容)的页面(Google Search Central:排查抓取错误)。
网站或数据库慢会阻止索引吗?
单靠慢不会。Google 看的是爬虫收到了什么,而不是您的服务器怎么生成页面。只有慢到出现错误或超时,才会成为障碍。如果网址检查显示 "Hostload exceeded"(主机负载超出),说明 Googlebot "can't crawl as many URLs from your site as it discovered"(无法抓取它在您网站上发现的那么多网址)(Google Search Central:排查抓取错误)。速度作为排名因素是另一个问题,见 Core Web Vitals。
规范标记和重复页面
规范(canonical)标记告诉 Google,几个相似网址中哪一个是主版本。Google 只把它当作建议:"indicating a canonical preference is a hint, not a rule"(表明规范偏好只是提示,不是规则)(Google Search Central:什么是规范化)。所以规范标记设错了,比如每个页面都指向首页,就可能让您的服务页面被首页取代。
Google 列出了一个很容易忽略的情况:"the demo version of the site is accidentally left accessible to crawlers"(网站的演示版本意外地对爬虫开放)(同一页面)。测试副本请设密码保护。
不要用 robots.txt 或 noindex 来指定主版本。Google 说不要把 robots.txt 用于 "for canonicalization purposes"(规范化用途),而 noindex "will completely block the page from Search"(会把页面完全挡在搜索之外)(Google Search Central:如何指定规范网址)。请使用 `rel="canonical"` 链接;如果副本本就不该存在,就用 301 重定向。
重定向本身没问题。Google 会跟随 "up to 10 redirect hops"(最多 10 次重定向跳转),并把 301 视为 "a strong signal"(强烈信号),表明目标页面才是要索引的页面(Google Search Central:HTTP 状态码)。
登录、JavaScript 和被屏蔽的文件
- 登录: "If a page is made private, such as requiring a log-in to view it, Googlebot will not crawl it"(如果页面设为私密,例如需要登录才能查看,Googlebot 不会抓取它)(Google Search Central:技术要求)。
- JavaScript: Google 在索引前会用浏览器渲染页面,但代码中带 noindex 的页面会被跳过:Google 会渲染返回 200 的页面,"unless a robots meta tag or header tells Google not to index the page"(除非 robots meta 标记或标头告诉 Google 不要索引该页面)(Google Search Central:JavaScript SEO 基础知识)。用脚本生成的菜单需要带 href 地址的真正 HTML 链接,否则 Google 可能会漏掉它们指向的页面(同一页面)。
- 被屏蔽的脚本和样式文件: 不要屏蔽页面正常显示所需的文件。如果缺了它们会让页面 "harder for Google's crawler to understand"(更难被 Google 爬虫理解),Google 的说法是 "don't block them"(不要屏蔽它们)(Google Search Central:robots.txt 简介)。
哪些页面应该主动屏蔽?怎么做?
按目的选工具(Google Search Central:控制您与 Google 搜索共享的内容):
| 目的 | 用什么 | 原因 |
|---|---|---|
| 私密数据、客户文件、测试网站 | 密码 | 唯一真正的安全措施;也能挡在搜索之外 |
| 感谢页、登录页、站内搜索页 | noindex | 人们仍可访问;Google 不会列出 |
| 两个网址内容相同 | 规范链接或 301 重定向 | 保留一个版本;noindex 会把页面完全屏蔽 |
| 不想被展示的图片或视频 | robots.txt | Google 表示 robots.txt 对媒体文件有效 |
| 已经出现、必须马上撤下的内容 | 先用移除工具,再加 noindex 或删除 | 移除效果 "last for about 6 months"(持续约 6 个月)(Google Search Central) |
如何检查网站的索引障碍
- 网址检查:检查首页和每个主要服务页。它会显示页面是否已被索引、状态码、Google 选定的规范网址,以及 Googlebot 收到的 HTML(Google Search Central:用 noindex 阻止搜索索引)。
- 网页索引编制报告和抓取统计信息报告。 Google 建议 "look at both reports"(两份报告都看),因为它们显示的问题不同(Google Search Central:技术要求)。各状态的含义见 Search Console 状态说明。
- robots.txt 报告:每次修改该文件后都在 Search Console 中查看。它可以请求重新读取;否则 Google "every 24 hours"(每 24 小时)更新一次副本(Google Search Central:更新 robots.txt 文件)。
- 无痕浏览器窗口:逐个打开关键页面。您在这里遇到的登录提示或错误,Google 也会遇到。
- 每次改版、换主机或安装插件后重复检查。 障碍通常就在这些时候出现。
示例
改版后的一家物理治疗诊所
来自搜索的预约减少了一半。网址检查显示,新模板在每个服务页上都发送了 `X-Robots-Tag: noindex`。开发人员去掉了它;业主为 8 个主要页面请求编入索引。
用廉价主机的一位电工
抓取统计信息显示,一个月里大多数日子都有服务器错误,服务页开始掉出索引。换到每月约 $30 的更可靠主机后,错误消失;页面在随后几周陆续回来。
有测试网站的一家面包店
Google 显示了网站测试副本中的页面,地址在一个测试子域名上。这个测试副本没有设密码。解决办法:给它加密码保护,并对测试网址使用移除工具。
常见问题
nofollow 会阻止页面被索引吗?
不会。nofollow 只是告诉 Google 不要跟随某个页面或链接上的链接。要让页面不被索引,请用 noindex。
一个 404 页面会影响整个网站吗?
不会。404 只会让那一个网址掉出索引。如果页面搬了家,请加 301 重定向,让访客和 Google 都能找到新页面。
修好的页面多久能回来?
取决于 Google 什么时候重新抓取。在网址检查中请求编入索引一次即可;访问较少的页面,可能要几周甚至更久才会被再次访问。
新网站建设期间应该屏蔽 Google 吗?
用密码,不要用 robots.txt。密码能同时挡住 Google 和访客,上线当天去掉即可。
您的情况不同?
- 整个网站都搜不到,而不只是某个页面:网站在 Google 上搜不到。
- Search Console 显示“已抓取 - 尚未编入索引”(Crawled - currently not indexed):各状态的含义。
- 刚开始用 Search Console:小企业该看的报告。
- 改版后页面掉出索引:改版后流量下降。
- 想屏蔽 AI 爬虫但不屏蔽 Google:GPTBot、ClaudeBot 与 robots.txt。
- 希望有人帮您找出并修复障碍:SEO 与 GEO 智能体。