抓取效率:真的能提升自然流量吗?
简短回答 很少。Google 表示抓取不是排名信号,它的抓取预算指南针对的是约 10,000 个以上且每天更新的页面,或 100 万个以上页面的网站。如果您的新页面发布后很快就被抓取,限制您流量的就不是抓取效率。先修好服务器错误和重复网址,再把时间花在做更好的页面上。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话抓取效率能提升自然流量吗?
单靠它不能。抓取就是 Google 的爬虫(Googlebot)读取您页面的过程。页面必须先被抓取才能出现在 Google 上,但抓取得更频繁并不会让它排得更靠前。Google 的抓取团队说得很直接:
"An increased crawl rate will not necessarily lead to better positions in Search results." (Google Search Central Blog: What crawl budget means for Googlebot) 译文:“抓取频率提高,并不一定会让您在搜索结果中排名更好。”
同一篇文章还说,抓取“is not a ranking signal”(不是排名信号)。被抓取只是入场券。决定排名的,仍然是您的页面是否比别人更好地回答了搜索的问题。
抓取效率是指 Google 把访问次数花在您重要的页面上,而不是浪费在重复页面、错误页面和死胡同上。抓取预算是指 Google 能够并且愿意抓取您多少个网址。Google 根据两点来定:您的服务器能顺畅承受多少负载(抓取容量),以及 Google 有多想要您的页面(抓取需求),后者取决于页面的热门程度和更新频率。
抓取效率什么时候重要?
网站很大或更新很快的时候。Google 的抓取预算指南开头就给了一个判断标准:
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Crawling Infrastructure: Optimize your crawl budget) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就被抓取,您就不需要阅读本指南。”
指南列出了它的目标网站,并称这些数字是“rough”(粗略)估计,不是硬性门槛:
| 网站 | 抓取预算重要吗? |
|---|---|
| 100 万个以上页面,大约每周更新 | 重要 |
| 10,000 个以上页面,每天更新 | 重要 |
| Search Console 中大量网址显示“Discovered - currently not indexed”(已发现 - 尚未编入索引) | 重要,需要查一查 |
| 少于几千个页面,例如大多数服务企业的网站 | 很少;通常能被高效抓取(2017 年文章) |
对其他所有网站,Google 说保持站点地图更新、查看“网页索引编制”报告就“is adequate”(足够了)。最后一行来自它 2017 年的文章:“fewer than a few thousand URLs”(少于几千个网址)的网站通常能被高效抓取。
怎么检查 Google 抓取我的网站是否顺利?
在 Google Search Console 里做三项免费检查,十分钟就够:
- 网址检查。 粘贴一个您上周发布的页面。如果显示页面已在 Google 上,并有最近的抓取日期,说明抓取没问题。
- 网页索引编制报告。 查看页面未被编入索引的原因。有几个是正常的。如果大量页面在“Discovered - currently not indexed”下,就是 Google 指南提到的那个信号。参见已抓取或已发现,但尚未编入索引。
- 抓取统计信息报告。 它显示抓取请求总数、平均响应时间和主机状态,也就是过去 90 天里 Google 访问您的服务器时是否遇到问题(Google Search Central Blog, 2020)。主机状态有问题,不管网站多大都值得修。
刚开始用 Search Console?先看小企业如何使用 Google Search Console。
什么在浪费 Google 的抓取,哪些值得修?
在小网站上,修下面这些问题是因为它们也影响访客,而不是为了省预算。Google 的抓取预算指南把它们列为好的做法:
| 问题 | 为什么重要 | 修复 |
|---|---|---|
| 服务器错误(5xx)或“请求过多”(429) | Google 会降低抓取上限,抓得更少 | 联系您的主机商;经常超时的话就升级套餐 |
| 重复网址:排序视图、筛选页和标签页 | Google 会尝试抓取它知道的每个网址 | 合并它们,或在 robots.txt 中屏蔽没用的 |
| 软 404(页面是空的,写着“找不到”,却返回 OK) | Google 会一直抓取它们 | 返回真正的 404 或 410,或把内容补回去 |
| 很长的重定向链 | Google 说这会影响抓取;它的爬虫最多跟随 10 次跳转 | 让旧网址直接指向最终页面 |
| 页面加载慢 | 页面越快,Google 能读的越多 | 参见 Core Web Vitals |
一个陷阱:不要为了“节省”抓取而添加 noindex 标签。Google 说它仍会请求这些页面,然后再丢弃,“wasting crawling time”(浪费抓取时间)。在 robots.txt 中屏蔽页面,也不会把它们的份额让给其他页面,除非 Google 已经达到您服务器的上限。
有没有目标数字,比如响应时间或错误率?
Google 没有给。网上会看到一些数字,比如服务器响应 300 毫秒,或服务器错误少于 1%。Google 的抓取预算指南没有这类目标。它说响应时间保持稳定或变快的网站会被抓取得更多,变慢或出现服务器错误的网站则会更少。在抓取统计信息里看趋势,而不是追一个神奇数字。
小网站需要 XML 站点地图吗?
通常有帮助,但对小网站来说可有可无。Google 把小网站定义为“about 500 pages or fewer”(大约 500 个页面或更少),并说如果每个页面都能从菜单或其他页面链接到,这样的网站可能不需要站点地图(Google Search Central: Learn about sitemaps)。WordPress、Wix 等建站工具通常会自动生成。在 Search Console 中提交一次,之后就不用管了。
示例
以下为示意案例,数字为编造。
一家有 30 个页面的水管工(美元)
新的服务页面两天内就会在网址检查中出现。一位 SEO 人员报价 $900 做“抓取预算审计”。不用做。抓取不是瓶颈;这笔钱花在更好的服务页面或邀请客户留评价上更有用。
多伦多附近一家园林公司改版之后
旧网址先重定向到一个临时页面,再到新页面。抓取统计信息显示大量重定向响应。让每个旧网址一次跳转直接指向它的新页面。改版后流量下降的问题,请看下方链接的改版指南。
一家有 40,000 个网址的网上零件店
尺寸、颜色和品牌筛选产生了无穷无尽的网址组合,Search Console 把其中 25,000 个列为“Discovered - currently not indexed”。这时抓取效率就重要了:屏蔽没人搜索的筛选组合,每个商品只保留一个干净的网址。
常见问题
我能让 Google 更频繁地抓取我的网站吗?
不能直接要求。Google 给了两种争取更多抓取的方法:如果服务器是瓶颈,就提升服务器容量;以及做出更受欢迎、更有用、更独特的内容。
robots.txt 里的 crawl-delay 对 Google 有效吗?
无效。Google 2017 年关于抓取预算的文章说,Googlebot 不处理 crawl-delay 规则。
图片、CSS 和 JavaScript 文件会占用抓取预算吗?
会。Google 说它抓取的任何网址都算,包括嵌入的文件。在小网站上,这很少会累积成问题。
在 robots.txt 中屏蔽的页面会占用抓取预算吗?
不会。Google 2017 年的文章说,被禁止的网址不影响抓取预算。
您的情况不同?
- 您的页面被抓取了但没有被编入索引:已抓取或已发现,但尚未编入索引。
- 您的网站在 Google 上完全搜不到:网站在 Google 上搜不到。
- 您经营一家有几千个商品网址的网店:电商 SEO。
- 换了新网站后流量下降:网站改版后流量下降。
- 您更希望有人替您做技术检查:SEO 与 GEO 智能体。