产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

抓取预算:小网站需要担心吗?

更新于 · 阅读约 7 分钟

简短回答 几乎从不需要。Google 表示,它的抓取预算指南面向的是约 100 万个页面且每周变化的网站,或 1 万个页面且每天变化的网站。只有几十或几百个页面的服务企业网站会被完整抓取。如果某个页面没出现在 Google 上,先检查内容质量、重复页面或是否被屏蔽,而不是抓取预算。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

小网站需要担心抓取预算吗?

不需要。Google 的抓取预算指南一开头就让大多数网站跳过它:

"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Crawling Infrastructure: Optimize your crawl budget) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就被抓取,您就不需要阅读本指南。”

对其他网站,Google 表示保持站点地图(sitemap)最新,并定期查看 Search Console 中的“网页索引编制”报告,就“adequate”(足够了)。指南写明了它面向谁,并说这些数字只是粗略估计,不是精确界线。中间一行是我们的理解,Google 没有给出那里的数字:

您的网站抓取预算重要吗?
少于 1,000 个页面(大多数服务企业、诊所、事务所)不重要
1,000 到 10,000 个页面,偶尔变化很少重要
10,000 个以上页面,每天变化(房源、分类广告、大型网店)重要
100 万个以上页面,每周变化重要
大量网址卡在“已发现 - 尚未编入索引”需要检查

Google 的 Search Console 帮助对“抓取统计信息”报告也是同样的说法:“with fewer than a thousand pages”(少于一千个页面)的网站应该用不上它。

什么是抓取预算?

就是 Google 能够、也愿意从您的网站抓取多少页面。Google 无法抓取整个互联网,所以会给每个网站分配时间。决定您份额的有两件事:

  • 抓取容量上限: Google 能在不拖慢您服务器的前提下抓取多快。每个网站都从同样谨慎的水平开始。如果您的服务器响应快且没有错误,上限会提高;如果变慢或返回错误,Google 就会减速。
  • 抓取需求: Google 有多想要您的页面。Google 表示这取决于受欢迎程度、页面变化频率,以及它知道您网站上有多少网址。

Google 把每个主机名当作一个独立网站。所以 `www.example.com` 和 `shop.example.com` 各有各的预算。

抓取不等于编入索引。Google 先抓取页面(下载它),再决定是否把它留在搜索结果中。一个页面可能抓取正常,却仍然没被收录。这个问题请看已抓取或已发现,尚未编入索引。

抓取预算什么时候重要?

当一个网站生成的网址远多于真实页面时。Google 关于抓取频率的指南列出了常见原因:

  • 每种组合都生成一个新网址的筛选和排序选项(“分面导航”,在网店上很常见)
  • 每个日期都有一个页面的日历
  • 无限滚动,或重复其他地方内容的搜索结果页

一家有几百件商品、几种筛选条件的网店,暴露出的网址可能远多于商品数量。Google 可能把时间花在筛选页上,很晚才抓到新商品。出现这个问题的迹象:

  1. Search Console 显示很大比例的页面是“已发现 - 尚未编入索引”。
  2. 新页面要几周才被抓取,而不是几天。
  3. Search Console 的网址检查报告“Hostload exceeded”(超出主机负载),Google 表示这意味着限制因素是您的服务器,而不是您的内容。

抓取预算会影响排名吗?

不会。Google 直接回答了这个问题:

"Improving your crawl rate won't necessarily lead to better positions in Google Search results. Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google Crawling Infrastructure: Myths and facts about crawling) 译文:“提高抓取频率不一定会让您在 Google 搜索结果中的位置更好。Google 使用许多信号对结果排名;虽然页面必须被抓取才能出现在搜索结果中,但抓取并不是排名信号。”

页面必须被抓取一次才能出现。之后,抓取更多次也不会让它排得更靠前。网站规模也不决定抓取频率:Google 表示,内容重要且经常变化的页面会被经常抓取,“regardless of the size”(无论网站规模大小)。

小网站上什么会让 Google 变慢?

是服务器问题,而不是页面数量。Google 自己的页面列出了会让它少抓取的问题:

问题Google 的做法
服务器响应慢少抓取
大量服务器错误(5xx)或“请求过多”(429)对整个主机名少抓取,直到错误减少
无法获取 robots.txt(服务器错误)前 12 小时停止抓取,之后最多 30 天使用最后一份正常的副本
同一网址连续几天出错可能把该网址从索引中删除
很长的重定向链Google 表示会影响抓取

没有 robots.txt 没关系。Google 把“找不到文件”(404)视为没有规则,所以会抓取全部内容。危险的是 robots.txt 地址超时或报错,一些便宜的主机在宕机时就会这样。如果不确定,请让您的主机商或网站负责人检查这个文件能否打开。

怎么查看 Google 抓取我网站的频率?

打开 Search Console,进入“设置”,再点“抓取统计信息”。它会显示每天的请求数、平均响应时间,以及 Google 是否遇到错误。对小网站来说,有用的部分是主机状态:绿色表示 Google 顺利访问了您的 robots.txt、DNS(把您的域名指向服务器的系统)和服务器。

两个更快的检查就能回答店主的大多数问题:

  • 某个页面被抓取了吗? 把它的地址粘贴到网址检查工具中,会显示最后抓取日期。
  • 有页面缺失吗? 打开“网页索引编制”报告,看原因。请看小企业如何使用 Google Search Console。

大网站如何解决抓取预算问题

如果您属于上表中“重要”的几行,以下是 Google 的建议,用大白话说:

做法原因
把重复页面合并成一个Google 按网址抓取,副本越少,花在真实页面上的时间越多
在 robots.txt 中屏蔽无限多的筛选或排序网址完全停止这些抓取
对永久删除的页面返回 404 或 410Google 表示 404 是“a strong signal not to crawl that URL again”(不要再抓取该网址的强烈信号)
修复“软 404”(内容为空却按正常页面响应的页面)Google 会一直抓取它们
保持站点地图最新,并附上最后修改日期引导 Google 找到新页面和更新过的页面
提升服务器速度,并支持 304“未修改”响应让 Google 跳过没有变化的页面

三个陷阱。第一,`noindex` 不能节省抓取:Google 仍要抓取页面才能读到这个标记。用它让页面不出现在结果中,而不是用来省预算。第二,暂时在 robots.txt 中屏蔽一些页面,并不会让 Google 转去抓其他页面。Google 表示,除非您的服务器已经达到上限,否则不会转移这部分空出的预算。第三,不要屏蔽您希望出现在 Google 上的页面,也不要屏蔽 Google 理解页面所需的脚本和样式。

您无法要求 Google 多抓取。Google 表示,获得更多预算的两个办法是更强的服务器,以及更有用、独特的内容。

示例

以下为说明性案例,数字为虚构。

一家有 40 个页面的水管工

网站有首页、12 个服务页、20 个地区页和几篇文章。Search Console 显示 Google 每天抓取约 50 个网址。抓取预算没有问题。有三个地区页显示“已抓取 - 尚未编入索引”,因为它们内容互相重复。这是内容问题,不是抓取问题。

一家带筛选功能的网店(加元)

一家家具店销售 2,000 件商品。颜色、尺寸和价格筛选生成了超过 100,000 个网址。新沙发要一个月才出现在 Google 上。在 robots.txt 中屏蔽筛选网址,每个类别只保留一个页面后,新商品几天内就能被收录。开发人员为这项改动收费约 C$800。

一家网站周末宕机的诊所

主机从周五晚上到周日一直宕机。Google 放慢了抓取,服务器恢复正常响应后又恢复了抓取。排名在一周内回来了。除了主机,没有什么需要修复。

常见问题

重要页面应该在离首页三次点击之内吗?

这有助于访客和爬虫找到它们。Google 表示,从首页链接的页面可能会被更频繁地抓取,但这“doesn't mean that these pages will be ranked more highly”(并不意味着这些页面会排得更高)。

可以在 robots.txt 中用 crawl-delay 控制 Google 吗?

不可以。Google 表示它的爬虫不处理“crawl-delay”规则。

404 页面会浪费抓取预算吗?

不会。Google 表示,返回 4xx 状态码(429 除外)的页面不会浪费抓取预算,因为 Google 得到的是状态码,没有内容。

更新页面日期会让 Google 抓取得更多吗?

Google 表示,细微改动和新日期没有任何作用:内容按质量评判,与新旧无关。事实有变化时再更新页面。

小网站需要站点地图吗?

不一定。Google 表示,“about 500 pages or fewer”(约 500 个页面或更少)且页面之间链接良好的网站可能不需要。不过添加它免费又快捷。

您的情况不同?

继续阅读

下一篇抓取效率:真的能提升自然流量吗?抓取效率很少会限制小网站。Google 说抓取预算何时重要、如何在 Search Console 中检查您的网站,以及少数值得做的修复。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Crawling Infrastructure: Optimize your crawl budget
  2. Google Crawling Infrastructure: Myths and facts about crawling
  3. Google Crawling Infrastructure: Reduce the Google crawl rate
  4. Search Console Help: Crawl Stats report
  5. Google Search Central: Learn about sitemaps
  6. Google Search Central: Introduction to robots.txt
  7. Google Crawling Infrastructure: How Google interprets the robots.txt specification