产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

抓取效率:别让 Google 把抓取浪费在垃圾网址上

更新于 · 阅读约 7 分钟

简短回答 抓取效率是指 Googlebot 的时间有多少花在您希望出现在搜索中的页面上,而不是重复或无用的网址上。它影响页面被编入索引的速度,而不是浏览人数:Google 表示抓取不是排名信号。页面少于约 1,000 个时,Google 说您无需担心。带筛选功能的大型网站应屏蔽这些垃圾网址。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

抓取效率能提高页面浏览量吗?

不能直接提高。抓取是 Google 的机器人 Googlebot 获取您的页面。页面必须先被抓取,才能被编入索引(被存储并有资格出现在搜索结果中),但被抓取得更多并不会让它排名更靠前。Google 的“误区”页面说得很直接:

"Improving your crawl rate won't necessarily lead to better positions in Google Search results. Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google Crawling Infrastructure: Myths and facts about crawling) 译文:“提高抓取速度不一定会让您在 Google 搜索结果中的排名更好。Google 使用许多信号对结果进行排名,虽然页面要出现在搜索结果中必须先被抓取,但抓取并不是排名信号。”

更好的抓取能做到的是:让新页面和修改过的页面更快进入 Google,并让 Google 抓到之前一直没去抓的页面。浏览量在这之后才来,取决于排名以及搜索者是否选择点击您的结果。

我的网站需要担心抓取预算吗?

抓取预算是 Google 能够并且愿意在您网站上抓取的网址集合。对大多数小企业网站来说,这不是问题。Google 的“抓取统计信息”帮助页面写道:

"If you have a site with fewer than a thousand pages, you should not need to use this report or worry about this level of crawling detail." (Search Console Help: Crawl Stats report) 译文:“如果您的网站少于一千个页面,您应该不需要使用此报告,也不必担心这种程度的抓取细节。”

Google 的抓取预算指南是为三类网站写的。Google 称这些数字是粗略估计,不是精确门槛。

您的网站需要优化抓取效率吗?
少于约 1,000 个页面,新页面几天内就被抓取不需要。保持站点地图最新,修复看到的错误即可
100 万个以上页面,大约每周更新需要,Google 的指南就是为您写的
1 万个以上页面,每天更新(房源、库存、活动)需要
Search Console 中大量网址显示“Discovered - currently not indexed”(已发现 - 尚未编入索引)需要,先检查有没有垃圾网址

Google 还说,如果您的页面“seem to be crawled the same day that they are published, you don't need to read this guide”(似乎在发布当天就被抓取,您就不需要阅读本指南)(Google Crawling Infrastructure: Optimize your crawl budget)。不过,小网站也可能产生成千上万个垃圾网址。一个带颜色、尺码和价格筛选的网店,或者一个活动日历,可能把 50 个真实页面变成 50,000 个网址。

哪些网址在浪费抓取?

显示的内容与另一个页面相同或几乎相同的网址。Google 表示,您最能控制的因素是您的“perceived inventory”(感知到的网址库存):没有引导时,Google 会尝试抓取它知道的大部分网址,而重复网址会浪费“a lot of Google crawling time”(大量 Google 抓取时间)(Google Crawling Infrastructure: Optimize your crawl budget)。

网址类型样子解决办法
筛选(分面导航,即“按条件筛选”菜单)`/shop?color=red&size=m`在 robots.txt 中屏蔽;如果希望它们被编入索引,就保持筛选网址整洁
排序`/shop?sort=price`在 robots.txt 中屏蔽
广告和跟踪参数`/page?gclid=ABCD`用规范标签指向干净的页面
会话 ID`/page?sessionid=6EE2`把会话存在 cookie 里,而不是网址里
网站自己的站内搜索结果`/?s=roof+repair`在 robots.txt 中屏蔽
无穷无尽的日历`/events?month=8&year=2041`给未来日期的链接加 nofollow,或者屏蔽
已删除但仍返回“200 OK”的页面(软 404)正常页面上显示“未找到”返回真正的 404 或 410 状态码
重定向链A 页跳到 B 再跳到 C让 A 直接重定向到 C

示例和解决办法来自 Google 关于网址结构、分面导航、规范网址和抓取预算的页面。Google 称筛选网址是“infinite URL spaces”(无限网址空间)的来源,会导致过度抓取,并让新页面更慢被发现(Google Crawling Infrastructure: Improve crawling of faceted navigation URLs)。

如何阻止 Google 抓取垃圾网址?

按以下顺序处理。除非另有说明,每一步都来自 Google 的抓取预算指南。

  1. 合并真正的重复页面。 Google 按强弱给信号排序:重定向和 `rel="canonical"` 标签(页面代码中注明主版本的一行)是强信号;列在站点地图中是弱信号。两者一起用,能提高 Google 选中您指定版本的机会(Google Search Central: How to specify a canonical URL)。
  2. 在 robots.txt 中屏蔽您永远不想被抓取的网址。 robots.txt 是位于 `yourdomain.com/robots.txt` 的文本文件,告诉爬虫哪里不要去。Google 自己的示例用 `disallow: /*?*color=` 这样的行屏蔽筛选参数,同时仍允许一个未经筛选的“显示全部”页面。
  3. 已删除的页面返回 404 或 410。 Google 称 404 是“a strong signal not to crawl that URL again”(不要再抓取该网址的强信号)。对于没有结果的筛选组合,Google 建议在该网址上返回 404,而不是重定向到通用错误页。
  4. 修复软 404 和过长的重定向链。 两者都会被反复抓取。
  5. 保持站点地图最新,为会变动的页面加上最后修改日期(lastmod)。
  6. 保持服务器快速稳定。 响应一直很快时,Google 会提高抓取上限;遇到变慢、服务器错误(5xx 状态码)或“请求过多”(429)时会降低上限。

Google 给出两种整体增加抓取预算的方法:如果 Google 已经顶到服务器上限,就增加服务器容量;以及提供 Google 认为受欢迎、有用且独特的内容(Google Crawling Infrastructure: Optimize your crawl budget)。

robots.txt、noindex 还是规范标签:用哪个?

它们的作用不同。

目标用什么原因
不让 Google 在某个网址上花抓取robots.txtGoogle 根本不会获取它
不让页面出现在搜索结果中noindex 标签robots.txt“is not a mechanism for keeping a web page out of Google”(不是让网页不出现在 Google 中的机制)(Introduction to robots.txt)
把多个副本指向一个主页面重定向或规范标签把链接和信号合并到一个网址

两个陷阱:

  • noindex 不能节省抓取。 Google 仍会请求该页面,看到标签后再丢弃,“wasting crawling time”(浪费抓取时间)(Google Crawling Infrastructure: Optimize your crawl budget)。
  • 不要屏蔽已标记 noindex 的页面。
"For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler." (Google Search Central: Block Search indexing with noindex) 译文:“要让 noindex 规则生效,该页面或资源不能被 robots.txt 文件屏蔽,而且爬虫必须能够正常访问它。”

如果其他网站链接到被屏蔽的网址,它仍可能出现在搜索结果中,只显示网址(Introduction to robots.txt)。

哪些不会浪费抓取预算

  • 404 和其他 4xx 错误不会,429 除外。Google 只得到一个状态码,没有内容(Myths and facts about crawling)。
  • robots.txt 中的 crawl-delay 对 Google 无效:它的爬虫不处理这条规则(同一页面)。
  • 链接上的 nofollow 只有在指向该网址的所有链接(无论在您的网站上还是网络上)都带有它时才有用(同一页面)。
  • Search Console 的“网址参数”工具已经不存在。Google 宣布它将在 2022 年 3 月 28 日的一个月后移除,并表示其爬虫“will learn how to deal with URL parameters automatically”(会自动学会如何处理网址参数)(Google Search Central Blog)。
  • 用 robots.txt 把预算转给其他页面。 除非 Google 已经顶到您服务器的上限,否则它不会转移空出来的预算(Optimize your crawl budget)。

如何查看 Google 怎样抓取我的网站?

打开“抓取统计信息”报告:在 Search Console 中依次进入“设置”和“抓取统计信息”。它显示 Google 发出了多少请求、在什么时候、您的服务器如何响应,以及任何可用性问题。它只适用于网域资源或根级网址前缀资源,并且会把重定向链的每一步算作一次单独请求(Search Console Help: Crawl Stats report)。

然后在“网页索引编制”报告中查看“Discovered - currently not indexed”(已发现 - 尚未编入索引)。每种状态的含义见已抓取或已发现,尚未编入索引。其他报告的介绍见小企业如何使用 Google Search Console。

示例

以下为说明用的案例,数字是虚构的。

一家有 35 个页面的屋顶公司

新页面几天内就出现在 Google 中。什么都不用做。

一家有 400 种商品的家居装饰店(加元)

颜色、尺码、材质和价格(每 25 加元一档)筛选产生了 60,000 多个网址,新商品要好几周才出现。店主在 robots.txt 中屏蔽筛选和排序参数,每个类别保留一个“全部商品”页面,站点地图中只列商品页和类别页。

一家有活动日历的婚礼场地(美元)

日历无止境地链接到未来每个月份,“抓取统计信息”显示大部分请求都花在空月份上。开发者给未来月份的链接加上 nofollow,并对没有活动的月份返回 404。1,200 美元套餐的页面几天内就重新被抓取。

常见问题

抓取速度是 Google 的排名因素吗?

不是。Google 表示,出现在搜索结果中需要先被抓取,但“it's not a ranking signal”(它不是排名信号)(Myths and facts about crawling)。

页面速度会影响抓取吗?

会。加载和渲染更快,Google 就能抓取更多;大量服务器错误会让它放慢。Google 补充说,对访客而言速度更重要(Myths and facts about crawling)。参见Core Web Vitals(核心网页指标)。

子域名共用一个抓取预算吗?

不共用。Google 把每个主机名当作独立网站,所以 `www.example.com` 和 `shop.example.com` 的预算是分开的(Optimize your crawl budget)。

我应该屏蔽 AI 爬虫来节省抓取预算吗?

它们不占用 Google 的预算。但您的服务器变慢时,Google 会减少抓取,所以大量机器人流量仍可能造成影响。参见用 robots.txt 屏蔽 AI 爬虫。

您的情况不同?

继续阅读

下一篇网站在 Google 上搜不到:按顺序逐项检查在 Google 上找不到您的网站?按顺序检查:site: 搜索、网址检查、noindex 和建站平台设置、新网站的等待时间,以及地图与搜索的区别。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Crawling Infrastructure: Optimize your crawl budget
  2. Google Crawling Infrastructure: Myths and facts about crawling
  3. Google Crawling Infrastructure: Improve crawling of faceted navigation URLs
  4. Google Search Central: URL structure best practices
  5. Google Search Central: How to specify a canonical URL
  6. Google Search Central: Introduction to robots.txt
  7. Google Search Central: Block Search indexing with noindex
  8. Search Console Help: Crawl Stats report
  9. Google Search Central Blog: Spring cleaning, the URL Parameters tool (March 28, 2022)