产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

已发现,尚未编入索引:让 Google 抓取您的页面

更新于 · 阅读约 8 分钟

简短回答 当您有很大一部分页面处于“Discovered - currently not indexed”(已发现 - 尚未编入索引)时,要修整个网站,而不是逐个页面去修。让服务器保持快速、不出错,砍掉不需要被抓取的网址,从 Google 已经常访问的页面链接到新页面,保持站点地图干净,分小批发布,然后等待。只为少数关键页面请求编入索引。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

大量页面“已发现 - 尚未编入索引”:解决办法

Google 知道这些网址,但还没去访问。它对这个状态的描述:

"The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl." (Search Console Help: Page indexing report) 译文:“Google 已发现该网页,但尚未抓取。通常是 Google 想抓取该网址,但预计这样会让网站负载过重,因此 Google 重新安排了抓取时间。”

如果只有几个页面,等着就好。如果有几百个,或者占了网站的大部分,Google 的高级抓取指南就是写给您的:“Sites with a large portion of their total URLs classified by Search Console as Discovered - currently not indexed”(在 Search Console 中,有很大一部分网址被归为“已发现 - 尚未编入索引”的网站)(Google:抓取预算管理)。抓取预算(crawl budget)是指 Google 在一定时间内愿意并且能够从您网站抓取的页面数量。下面的步骤都来自这份指南。

是单个页面的问题,还是全站的问题?

您看到的情况通常意味着怎么做
最近两周发布的几个页面正常排队。新页面或新网站“It can take a week or so”(可能需要一周左右)(Search Console 帮助)等待
一个重要页面卡了好几周页面层面的问题参考我们关于单个页面未编入索引的指南
几百个页面,或网站的大部分服务器限制、垃圾网址太多,或两者都有按下面第 1–7 步处理

第 1 步:在列表中找出规律

在 Search Console 中,打开“编入索引”,再打开“网页”,点击 Discovered - currently not indexed(已发现 - 尚未编入索引)。把示例网址按文件夹或结尾分组:`/tag/`、`/page/2/`、`?sort=price`、商品变体、地区页面。如果大部分是您本来就不想出现在搜索中的网址,说明您的好页面被垃圾网址堵在了后面。如果是您真正的页面,先查服务器(第 2 步)和链接(第 4 步)。

第 2 步:检查服务器是不是瓶颈

Google 一开始给每个网站的都是“the same default, conservative crawl capacity limit”(同样的默认、保守的抓取容量上限),只有网站一直保持健康时才会提高(Google:抓取预算管理)。网站吃力时,它会降低上限:

"If the site slows down (latency increases or response times become longer), or responds with server errors (5xx HTTP status codes) or rate-limiting signals (such as HTTP 429), the limit goes down and Google crawls less." (same page) 译文:“如果网站变慢(延迟增加或响应时间变长),或返回服务器错误(5xx HTTP 状态码)或限流信号(例如 HTTP 429),上限就会降低,Google 的抓取也会减少。”(同一页面)

5xx 错误表示服务器出了故障;429 表示“请求过多”。Google 说,大量的 500、503 或 429 响应会让抓取变慢,而且是“across the whole hostname”(整个主机名范围内),好页面也不例外(Google 抓取基础设施:降低 Google 抓取频率)。

要检查的:

  1. 对一个卡住的页面运行网址检查(URL Inspection),点击“测试实际网址”。如果显示 Hostload exceeded(主机负载超限),Google 的解决办法是“add more server resources if that makes sense for your business”(如果对您的业务合理,就增加服务器资源)(Google:抓取预算管理)。
  2. 问问您的主机服务商:您的套餐或某项安全设置是否会限制爬虫,或在高峰时段返回 429。
  3. 让页面加载更快。Google 说,如果它“can load and render your pages faster, we might be able to read more content from your site”(能更快地加载和渲染您的页面,我们也许就能读取您网站上更多的内容)(同一页面)。

第 3 步:砍掉 Google 不该花时间的网址

Google 会尝试抓取它知道的每一个网址。用它的话说,把时间浪费在重复和垃圾页面上是“the factor that you can positively control the most”(您最能主动控制的因素)(Google:抓取预算管理)。

网址类型示例解决办法
筛选和排序链接`/shoes?color=red&sort=price`在 robots.txt 中屏蔽;Google 警告它们“can generate infinite URL spaces”(可能产生无限的网址空间)(Google:分面导航)
同一内容出现在多个网址打印版、带跟踪代码的副本合并到一个网址(Google:抓取预算管理)
软 404(soft 404):内容为空却正常加载的页面“无结果”搜索页返回真正的 404。软 404“will continue to be crawled, and waste your budget”(会继续被抓取,浪费您的预算)(同一页面)
已删除的页面售罄商品、过期促销返回 404 或 410。404“is a strong signal not to crawl that URL again”(是不要再抓取该网址的强烈信号)(同一页面)
重定向链A → B → C让 A 直接指向 C。长链“have a negative effect on crawling”(会对抓取产生负面影响)(同一页面)
几乎一样的模板页面300 个只换了城镇名的城市页面合并成更少、更真实的页面;参见城市页面和门页

两个陷阱:

  • noindex 省不了抓取时间。 “Don't use noindex, as Google will still request, but then drop the page”(不要用 noindex,因为 Google 仍会请求该页面,只是随后丢弃)(同一页面)。它的作用是让页面不出现在搜索结果中,而不是腾出抓取时间。
  • robots.txt 不是临时开关。 只用于您永远不想被抓取的页面。Google 说,除非它之前已经触及您服务器的上限,否则它“won't shift this newly available crawl budget to other pages”(不会把这部分新空出的抓取预算转给其他页面)(同一页面)。

Google 主要通过链接发现新页面。它举的例子是:“a hub page, such as a category page, links to a new blog post”(一个中心页面,比如分类页,链接到一篇新的博客文章)(Google Search Central:Google 搜索的运作方式)。所以要从首页、菜单,或已经编入索引的分类页或服务页链接到每个新页面。

链接要是真正的链接。Google“can only crawl your link if it's an”HTML 锚元素“with an href attribute”(只有当链接是带 href 属性的 HTML 锚元素时才能抓取),也就是用 `a href` 写的普通链接(Google Search Central:链接最佳做法)。只能通过脚本驱动的“加载更多”按钮才能到达的页面可能不会被发现;Google 说它“can't reliably extract”(无法可靠地提取)这类链接(同一页面)。

第 5 步:站点地图只列您想编入索引的页面

站点地图(sitemap)是一个向搜索引擎列出您页面的文件。只列出您想出现在搜索中的有效页面,每个都用最终网址。

  • 日期要如实。 Google 只有在最后修改日期“if it's consistently and verifiably ... accurate”(始终如一且可验证地……准确)时才会使用它(Google Search Central:构建并提交站点地图)。改一下版权年份不算更新(同一页面)。给每个页面都打上今天的日期,只会让 Google 学会忽略它。
  • 提交它:在 Search Console 的“站点地图”报告中提交,报告会显示 Googlebot 上次读取的时间(同一页面)。提交只是“merely a hint”(仅仅是一个提示)(同一页面)。
  • 不用填优先级和更改频率。 Google 说这两项它都忽略(同一页面)。

第 6 步:分小批发布

抓取上限会随着时间和信任增长。如果有需求且网站保持健康,Google 会“over time”(随着时间)提高网站的上限,并综合考虑“popularity, overall user value, content uniqueness, and serving capacity”(受欢迎程度、整体用户价值、内容独特性和服务能力)(Google:抓取预算管理)。一个新网站一天加 1,000 个模板页面,要求的已经超出了它起步上限能承受的。分批发布页面,最好的先发,等上一批大部分被编入索引后再加下一批。

第 7 步:为少数关键页面请求编入索引,然后等待

在网址检查中,只为最重要的卡住页面点击“请求编入索引”。“a quota for submitting individual URLs”(提交单个网址有配额),而且请求“does not guarantee”(并不保证)被收录(Google Search Central:请 Google 重新抓取)。Google 说抓取需要几天到几周(同一页面)。然后看“网页”报告中“已发现”的数量下降。不需要点击“验证修复”:Google 每次重新抓取时都会更新数量(Search Console 帮助)。

哪些做法没用

您会看到的建议为什么跳过
Google 的 Indexing API 或付费的“即时收录”服务该 API“can only be used to crawl pages with either JobPosting or BroadcastEvent embedded in a VideoObject”(只能用于抓取包含 JobPosting,或 VideoObject 中嵌入 BroadcastEvent 的页面)(Google Search Central)
添加结构化数据标记Google 要先抓取页面才会读取标记,所以它无法让页面在队列中往前排
Google 的移动设备适合性测试(Mobile-Friendly Test)已于 2023 年 12 月 1 日停用(Google Search Central 博客)
动态渲染(专给爬虫看的页面版本)Google 称其为“a workaround and not a recommended solution”(一种权宜之计,而非推荐的解决方案)(Google Search Central)
给每个页面都点“请求编入索引”配额会用完,也解决不了根本原因

示例

一家有 40,000 个“已发现”网址的网店

这家店有 800 个商品。列表里全是 `?size=`、`?color=` 和 `?sort=` 网址。解决办法:在 robots.txt 中屏蔽筛选参数,在站点地图中保留商品页和分类页,每个商品只用一个网址。筛选副本不再占用时间后,真正的商品页就会被抓取。

一家一次发布 250 个地区页面的保洁公司

每个页面文字相同,只换了城镇名。只有菜单里链接的 10 个被抓取了。解决办法:合并成 12 个地区页面,配上当地的工作案例和照片,从服务区域页面链接到全部 12 个,其余的做重定向,之后每次只加几个新地区。

一家用廉价共享主机的律师事务所博客

200 篇文章处于“已发现”状态。网址检查显示 Hostload exceeded(主机负载超限),主机服务商也确认网站在高峰时段会返回 503。解决办法:换到更强的套餐,然后为五个主要业务领域页面请求编入索引,等两到三周。

常见问题

“已发现 - 尚未编入索引”会持续多久?

没有固定期限。Google 说新页面或新网站可能需要“a week or so”(一周左右)才开始(Search Console 帮助),而抓取可能需要几天到几周。如果很多页面持续一个月或更久,就按上面的步骤逐一处理。

“已发现”是否说明我的内容质量差?

单凭这一点不能说明:Google 还没读过这个页面,它自己的描述把原因归于预计的服务器过载。不过全站质量仍然重要,因为 Google 在决定抓取多少时会考虑用户价值和内容独特性。

卡在“已发现”的页面要删掉吗?

只删您不需要出现在搜索中的那些。返回 404 会告诉 Google 不要再请求它们,从而为其余页面腾出时间。

我的网站少于 500 个页面,这些还适用吗?

很少适用。Google 说少于 500 个页面的网站“probably don't need”(可能不需要)“网页编入索引”报告(Search Console 帮助)。确认首页和主要服务页面已编入索引就够了。

您的情况不同?

继续阅读

下一篇JavaScript SEO 审查:确认 Google 看得到您的内容老板自己就能做的 JavaScript SEO 审查:对比网页源代码和 Google 渲染出的版本,再检查链接、标签和错误页面,并了解 AI 爬虫会漏掉什么。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Search Console Help: Page indexing report
  2. Google Crawling Infrastructure: Crawl budget management
  3. Google Crawling Infrastructure: Reduce Google crawl rate
  4. Google Crawling Infrastructure: Managing crawling of faceted navigation URLs
  5. Google Search Central: In-depth guide to how Google Search works
  6. Google Search Central: Link best practices
  7. Google Search Central: Build and submit a sitemap
  8. Google Search Central: Ask Google to recrawl your URLs
  9. Google Search Central: Indexing API quickstart
  10. Google Search Central: Dynamic rendering as a workaround
  11. Google Search Central Blog: The mobile friendly testing tool (retired)