大型网站的抓取预算优化:减少浪费的抓取
简短回答 调出 30 天的服务器日志,只保留经过验证的 Googlebot 请求,再按网址模式和状态码分组。凡是请求了您不想出现在 Google 里的网址,都是浪费。常见原因是筛选、排序选项、重定向链、软 404 和服务器错误。屏蔽、合并或修复它们,下个月再重新统计。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话您的网站需要优化抓取预算吗?
只有网站很大或更新很快时才需要。Google 的抓取预算指南针对的是:约 100 万个独立页面且每周更新的网站、1 万个以上页面且每天更新的网站,以及 Search Console 把大量网址列为“Discovered - currently not indexed”(已发现 - 尚未编入索引)的网站。Google 说这些数字只是粗略估计,不是硬性门槛。
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Crawling Infrastructure: Optimize your crawl budget) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就被抓取,您就不需要阅读本指南。”
比如房源和商品列表网站、大型网店、目录网站、有几千个页面的多门店品牌,以及新闻出版网站。一个 40 页的服务类网站完全不需要这些。如果它的页面没出现在 Google 中,请看已抓取或已发现,但尚未编入索引。
抓取预算是指 Google 能够并且愿意从一个主机名抓取的网址集合。Google 说您最能控制的部分是“感知库存”(perceived inventory):Google 知道的所有网址。如果其中很多是重复或无用页面,Google 就会把访问花在那里,而不是您的新页面上。
怎么在服务器日志里找到浪费的抓取?
统计 Googlebot 实际去了哪里,再和您希望它去的地方比较。分五步:
- 拿到日志。 向您的主机商、CDN 或开发人员要 30 天的原始访问日志。每一行记录一次请求:时间、地址、网址、状态码和用户代理(访问者给自己起的名字)。
- 只保留真正的 Googlebot。 谁都可以把自己的机器人叫“Googlebot”。Google 的验证指南说:对发出请求的 IP 地址做反向 DNS 查询,确认名称以 googlebot.com、google.com 或 googleusercontent.com 结尾,再对这个名称做一次正向查询,确认返回的是同一个 IP。日志很大时,把 IP 和 Google 以 JSON 文件公布的 Googlebot IP 段对比。
- 按网址模式和状态码分组。 不要一个网址一个网址地看。把每个网址简化成模式(`/listings/?sort=`、`/events/2031-`、`/product/*`),按模式和状态码(200、301、404、5xx)统计请求数。
- 和您希望进入 Google 的页面比较。 您的站点地图就是这份清单。凡是请求了清单以外的网址,或者请求了重定向或错误页面,都算浪费。浪费占比 = 浪费的请求 ÷ 全部 Googlebot 请求。
- 检查新页面被发现的速度。 对上个月发布的页面,在日志里找到 Googlebot 第一次请求它的时间。从发布到首次抓取的天数,就是抓取预算工作应该缩短的数字。
日志小的话,用电子表格就能处理。几百万行的日志需要日志分析工具,或者请开发人员写个脚本。
哪些网址模式浪费的抓取最多?
下面是 Google 自己的页面点名的模式,以及它们在日志里的样子:
| 日志里看到的 | 它是什么 | 修复方法 |
|---|---|---|
| 几千个带 `?color=`、`?size=`、`?price=` 的网址 | 筛选(分面导航)为每种组合生成一个网址 | 在 robots.txt 中屏蔽筛选参数;保留商品页和一个未筛选的列表 |
| 同一页面带 `?sort=` 或会话 ID | 同一页面的重复副本 | 合并成一个网址;做不到就在 robots.txt 中屏蔽 |
| 好几年后的日期,如 `/calendar/2031-04-12` | 每天一个页面的日历 | 在 robots.txt 中屏蔽日期模式 |
| 没有结果的筛选页返回 200 | 软 404 | 返回真正的 404 状态码 |
| 301 到 301 再到 200 | 重定向链,每一跳都是一次单独请求 | 链接和重定向直接指向最终网址 |
| 成批出现 5xx 或 429,或响应很慢 | 服务器跟不上,Google 会降低整个主机名的抓取上限 | 加快响应速度或增加服务器容量 |
| 同样没变的页面每天被抓取,全是 200 | 没有缓存信号 | 支持 304“未修改”响应 |
| 带 noindex 标签的页面经常被抓取 | Google 必须抓取页面才能看到这个标签 | 如果它们永远不需要抓取,就在 robots.txt 中屏蔽 |
关于筛选,Google 的分面导航指南说得很直接:
"Oftentimes there's no good reason to allow crawling of filtered items, as it consumes server resources for no or negligible benefit." (Google Crawling Infrastructure: Managing crawling of faceted navigation URLs) 译文:“通常没有充分理由允许抓取筛选后的内容,因为这会消耗服务器资源,却没有或几乎没有好处。”
404 不用管。Google 说返回 4xx 状态码的页面(429 除外)不浪费抓取预算,因为 Google 只拿到状态码,没有内容。根据同一个误区页面,CSS、JavaScript 和备用网址(hreflang 语言版本)则会计入。
拿不到日志?用抓取统计信息报告
Search Console 的抓取统计信息报告(设置,然后点抓取统计信息)从 Google 一侧给出汇总。它按响应代码、文件类型、抓取目的和 Googlebot 类型拆分请求,每类都有示例网址。需要知道的限制:
- 它只适用于根级资源,例如网域资源。
- Google 说示例网址“not comprehensive”(并不完整),有些请求可能没有计入,所以总数可能和您的日志不同。
- 每一跳重定向都算一次单独请求,因此很容易发现重定向链。
- “Discovery”(发现)指 Google 从未抓取过的网址;“Refresh”(刷新)是重新抓取。Google 说在您添加大量新页面或站点地图后,应该会看到发现抓取增加。
- “AdsBot”突然激增,通常意味着新增了很多动态搜索广告(Dynamic Search Ads)的目标网址。Google 说 AdsBot 大约每两周抓取一次这些网址。
这份报告有用,但它无法告诉您哪些网址模式占用了访问。只有日志能做到。
哪些抓取预算的做法没用?
根据 Google 自己的页面,几种常见做法对 Google 毫无作用:
| 做法 | 为什么没用 |
|---|---|
| 加 noindex 来节省抓取 | Google 仍然要抓取页面才能读到这个标签 |
| 暂时在 robots.txt 中屏蔽页面,好让 Google 去抓别处 | 除非您的服务器已经到了上限,否则 Google 不会转移这部分预算 |
| robots.txt 中的 crawl-delay | Google 的抓取工具不处理它 |
| 压缩站点地图 | Google 仍然要抓取它们 |
| 没有实际修改却改页面日期 | 没有增加价值;Google 按质量而不是新旧评价内容 |
| 内部链接加 nofollow | 只要还有其他链接指向这个网址,它仍会被抓取 |
抓取也不是排名因素。Google 说页面必须被抓取才能出现,但抓取更多并不会提升排名。好处是新页面和修改过的页面能更快进入 Google。
如果 Googlebot 抓取得太多怎么办?
先在日志里找到原因:Google 的抓取频率指南说,突然激增通常来自筛选、日期日历或动态搜索广告的目标网址。对于持续几小时或一两天的紧急情况,Google 说可以对抓取请求返回 500、503 或 429 状态码。Google 随后会降低整个主机名的抓取速度,错误停止后再恢复。
"We don't recommend that you do this for a long period of time (meaning, longer than 1-2 days) as it may have a negative effect on how your site appears in Google products." (Google Crawling Infrastructure: Reduce the Google crawl rate) 译文:“我们不建议长时间这样做(即超过 1–2 天),因为这可能会对您的网站在 Google 产品中的显示方式产生负面影响。”
如果您没法返回错误,Google 提供了一个表单,用来报告异常高的抓取频率。没有办法申请更多抓取。
怎么知道修复有效?
一个月后用同样的方法重新统计。应该有三个数字变化:
- 浪费占比下降。
- 新页面从发布到首次抓取的天数下降。
- 抓取统计信息中的服务器错误保持在低位,主机状态保持绿色。
Googlebot 的总请求数可能会减少。只要剩下的请求都去了您希望被发现的页面,这就没问题。
示例
以下为示意案例,数字为虚构。
一个房地产房源网站(美元)
网站有 60,000 条在售房源。日志显示 30 天内有 120 万次 Googlebot 请求,其中 70 万次落在 `?sort=` 和地图视图网址上。新房源要等 9 天才被首次抓取。开发人员花了约 $1,500,在 robots.txt 中屏蔽了这两种模式。下个月,浪费占比从 58% 降到 15%,新房源在 2 天内就被抓取。
一家网上轮胎店(加元)
一家有 8,000 件商品的店,40% 的网址显示“Discovered - currently not indexed”(已发现 - 尚未编入索引)。日志显示,大量筛选页对应的是店里没有的尺寸,全都返回 200 和“无结果”。让空组合返回 404 的开发费用约为 C$900。这些网址不再被抓取,商品页被抓取得更频繁。
一个有 2,000 个门店页面的连锁品牌
每个门店页面都链接到一个活动日历,为直到 2035 年的每一天都生成了一个页面。Googlebot 三分之一的请求花在那里。在 robots.txt 中加一行屏蔽未来日期,就把这些访问腾给了门店页面。
常见问题
我需要多少天的日志?
30 天是比较实用的最低限度:它涵盖每周的规律,也能显示一个月内新页面从发布到首次抓取的延迟。流量大的网站看一周的日志就能发现很多问题。
日志里的每个“Googlebot”都真的是 Google 吗?
不是。抓取别人内容的爬虫会冒用这个名字。Google 的指南说,要用反向和正向 DNS 查询确认,或者把 IP 和 Google 公布的 IP 段对比。
我应该屏蔽 CSS 和 JavaScript 来节省抓取预算吗?
不应该。Google 需要这些文件来渲染页面,然后才能编入索引。它的抓取统计信息帮助页面提醒,不要屏蔽 Google 理解内容所需的资源。
子域名共用一个抓取预算吗?
不共用。Google 把每个主机名当作一个独立网站,所以 `www.example.com` 和 `shop.example.com` 各有各的预算。
更好的链接会增加我的抓取预算吗?
间接会。Google 说越受欢迎的网址被抓取得越频繁。它提到获得更多预算的两种方式是:增加服务器容量,以及提高内容质量。
您的情况不同?
- 页面卡在“Discovered”或“Crawled - currently not indexed”:已抓取或已发现,但尚未编入索引。
- 有筛选和分类的网店:电商 SEO。
- 刚开始用 Search Console 的报告:小企业怎么用 Google Search Console。
- 网站迁移或改版后抓取和流量下降:改版后流量下降。
- 日志里全是 AI 机器人:该不该屏蔽 AI 爬虫?。
- 您更希望有人帮您做日志审查和修复:SEO 与 GEO 智能体。