产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

抓取与索引:Google 如何发现并存储您的网页

更新于 · 阅读约 8 分钟

简短回答 Google 按顺序工作。它先通过链接或站点地图发现网页的地址,再下载网页进行抓取,然后像浏览器一样运行页面代码进行渲染,最后决定是否把它编入索引,也就是存进自己的数据库。只有已编入索引的网页才能出现在搜索结果中。网页可能在任何一个阶段卡住。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

Google 如何发现并存储一个网页?

分四步,每一步成功后下一步才开始。Google 介绍搜索工作原理的指南说得很直白:

"Google Search works in three stages, and not all pages make it through each stage" (Google Search Central: How Google Search works) 译文:“Google 搜索分三个阶段运作,并非所有网页都能通过每个阶段”

这三个阶段是抓取、索引和提供搜索结果。Google 自己的指南又从抓取中拆出两步:先找到地址,以及在抓取时渲染页面。对企业主来说,最好理解成网页能被展示之前的四个步骤。

步骤Google 做什么什么会挡住它
1. 发现得知这个网页的网址(URL)存在没有任何链接指向它,站点地图里也没有它
2. 抓取Google 的机器人 Googlebot 下载网页robots.txt 屏蔽、需要登录、服务器错误
3. 渲染在 Chrome 浏览器中运行页面代码,看到访客看到的内容只有点击后才出现的文字或链接,或运行出错的代码
4. 索引读取网页,从重复页面中选出一个版本,存储起来noindex 标签、内容单薄或质量低、与另一个网页几乎相同

只有完成第 4 步,网页才能在第 5 步“提供结果”中参与竞争,也就是出现在搜索结果里。排名是另一个问题;本指南讲的是怎样拿到参赛资格。

Google 如何发现一个新网页?

通过链接和站点地图。Google 维护一份已知地址列表,并通过三种方式扩充它:以前访问过的网页、在已知网页上找到的链接,以及您提交给它的网页列表,也就是站点地图(sitemap)(Google Search Central: How Google Search works)。

您自己网页上的链接也算数,不只是其他网站的链接。一个从首页菜单链接过去的新服务页面很容易被找到。一个没有任何链接指向、也不在站点地图里的网页,可能永远不会被发现。在网站刚上线时,其他网站的链接最有帮助。

您需要站点地图吗?Google 表示,如果您的网站很小,也就是“about 500 pages or fewer”(大约 500 个网页或更少),而且每个重要网页都能从首页点击到达,那么可能不需要。如果网站很大、是新网站且很少有其他网站链接,或者有大量视频和图片,它建议提交一个(Google Search Central: Learn about sitemaps)。大多数建站工具会自动为您生成。站点地图有帮助,但不作任何保证:

"A sitemap helps search engines discover URLs on your site, but it doesn't guarantee that all the items in your sitemap will be crawled and indexed." (Google Search Central: Learn about sitemaps) 译文:“站点地图有助于搜索引擎发现您网站上的网址,但不保证站点地图中的所有内容都会被抓取并编入索引。”

Google 抓取网页时发生了什么?

只要允许且能做到,Googlebot 就会下载网页。Google 表示,由一个程序决定“which sites to crawl, how often, and how many pages to fetch from each site”(抓取哪些网站、多久抓取一次,以及每个网站抓取多少网页),而且 Googlebot“doesn't crawl all the pages it discovered”(不会抓取它发现的所有网页)(Google Search Central: How Google Search works)。当您的服务器吃力时,它也会自动放慢:500 系列的服务器错误会让它减少抓取。

据 Google 介绍,抓取失败的常见原因有:服务器问题、网络问题和 robots.txt 规则。robots.txt 是放在网站根目录下的一个小文本文件,告诉机器人跳过哪些地址。

付钱没有用。Google 表示,它不会因为收费而更频繁地抓取某个网站。

小企业需要担心“抓取预算”(crawl budget),也就是 Google 抓取量的上限吗?通常不需要。Google 的抓取预算指南是写给超过 100 万个网页且每周更新的网站,或超过 1 万个网页且每天更新的网站的。对其他网站,它表示保持站点地图更新、查看网页索引编制报告就够了(Google Search Central: Crawl budget management for large sites)。快速的服务器仍然对访客有好处,但一个 30 页的网站不会用完抓取额度。

什么是渲染?为什么 JavaScript 很重要?

渲染就是 Google 像浏览器一样运行您页面的代码。很多网站用 JavaScript 生成文字,也就是在页面加载后再填充内容的代码。Google 用较新版本的 Chrome 进行渲染,以便看到这些文字;如果不渲染,它“might not see that content”(可能看不到这些内容)(Google Search Central: How Google Search works)。

渲染可能会延迟。Google 的 JavaScript 指南表示,网页会在渲染队列中等待,有时几秒,有时更久,而且它很难告诉您某个网页是在等待抓取还是等待渲染。它仍然建议由服务器直接发送完整的 HTML,因为“not all bots can run JavaScript”(并非所有机器人都能运行 JavaScript)(Google Search Central: Understand JavaScript SEO basics)。

这里有两项检查很重要:

  • 链接必须是真正的链接。 Google 表示,一般只有标准 HTML 链接(带 href 地址的 a 元素)才能被抓取。用脚本跳转访客的按钮,对 Googlebot 来说可能是死路(Google Search Central: Link best practices)。
  • 以手机版为准。 Google 使用网站内容的移动版进行索引和排名,这叫移动设备优先索引(mobile-first indexing)(Google Search Central: Mobile site and mobile-first indexing)。您在手机上隐藏的文字,Google 可能永远读不到。

Wix、Squarespace 和 Shopify 等建站工具默认使用标准链接和手机版式。渲染问题往往藏在定制开发的网站里。请看 建站平台与 SEO。

索引是什么意思?

索引的意思是 Google 读取了网页、理解了它,并把它存进 Google 索引,也就是有人输入搜索词时它要查找的一个巨大数据库。Google 会查看文字、网页标题、图片说明(alt 文本)、图片和视频。

它还会把几乎相同的网页归为一组,保留其中一个作为主版本,叫做规范网页(canonical)。其他的是备用版本。然后 Google 会记录主版本的一些信号,例如语言、面向的国家以及易用程度(Google Search Central: How Google Search works)。

索引不是自动的:

"Indexing isn't guaranteed; not every page that Google processes will be indexed." (Google Search Central: How Google Search works) 译文:“索引无法保证;并非 Google 处理过的每个网页都会被编入索引。”

Google 列出了三个常见原因:内容质量低、robots meta 标签要求不编入索引,以及网站设计让索引变得困难。

重复网页不会招致惩罚。Google 表示,网站上有一些重复内容“is normal and it's not a violation of Google's spam policies”(是正常的,并不违反 Google 的垃圾内容政策)(Google Search Central: What is canonicalization)。代价是由 Google 而不是您来选择展示哪个版本。用规范标签(canonical tag)或重定向告诉它您的选择。

如何让网页不出现在 Google 上:robots.txt 还是 noindex?

用 noindex。在 robots.txt 中屏蔽网页只能阻止抓取,不能阻止索引:

"it is not a mechanism for keeping a web page out of Google" (Google Search Central: Introduction to robots.txt) 译文:“它不是让网页不出现在 Google 上的机制”

被屏蔽的网页仍可能出现在搜索结果中,只是下面没有描述。而且如果您在 robots.txt 中屏蔽了网页又加了 noindex,Google 永远看不到这个 noindex,因为它无法抓取该网页来读取它(Google Search Central: Block Search indexing with noindex)。关于 AI 爬虫,请看 用 robots.txt 屏蔽 AI 爬虫。

如何在自己的网站上检查每个阶段?

使用 Google Search Console,这是 Google 免费的网站报告工具。下面是每个阶段在哪里查看。

阶段检查什么在哪里
发现站点地图已提交并被读取Search Console 的站点地图报告
抓取没有 robots.txt 规则屏蔽该网页;上次抓取日期Search Console 的网址检查工具
渲染测试的网页显示了您的文字和链接网址检查工具的实时测试
索引网页显示“已编入索引”,且 Google 选择的是您的规范网页网址检查工具;网页索引编制报告

添加或修改网页后,您可以在网址检查工具中请求抓取。Google 表示,抓取“can take anywhere from a few days to a few weeks”(可能需要几天到几周不等),请求有配额限制,而且重复请求不会让它更快(Google Search Central: Ask Google to recrawl your URLs)。如果网页显示“已抓取”或“已发现 – 尚未编入索引”,请看 已抓取或已发现,尚未编入索引。要学会看这些报告,请看 小企业如何使用 Search Console。

示例

以下为说明性案例。

一个有 12 个网页的新园林绿化网站

两周后首页被编入索引;五个服务页面却没被找到。菜单用的是脚本按钮,不是真正的链接,所以 Googlebot 无法跟随。换成建站工具的标准菜单就解决了。业主提交了站点地图,并为这五个网页请求编入索引。

一家有重复网页的牙科诊所

网站上 /cleaning 和 /teeth-cleaning 的文字相同。Search Console 显示 Google 选择了 /cleaning。诊所把另一个网页重定向到它。这里不涉及任何惩罚;重定向只是省去了猜测。

一位隐藏测试网站的承包商

开发人员在 robots.txt 中屏蔽了网站的测试副本,但它仍然出现在 Google 上,只是没有描述。解决办法是给测试网站加密码,这样人和 Google 都进不去。

常见问题

抓取和索引是一回事吗?

不是。抓取是 Google 下载网页。索引是 Google 决定存储它。网页可能被抓取了,却仍未被编入索引。

网页需要反向链接才能被编入索引吗?

不需要。Google 也会通过您自己的链接和站点地图找到网页。其他网站的链接能帮助全新的网站更快被发现。

我能付钱让 Google 更快索引我的网站吗?

不能。Google 表示,它不会因为收费而更频繁地抓取某个网站,也不会因此提高它的排名。

Google 的移动设备适合性测试还能用吗?

不能。Google 已于 2023 年 12 月 1 日停用移动设备适合性测试(Mobile-Friendly Test)和移动设备易用性报告(Google Search Central Blog)。网址检查工具的实时测试仍能显示 Googlebot 看到的网页。

您的情况不同?

继续阅读

下一篇SEO 中的索引:是什么意思,怎么检查您的网站用大白话讲清索引是什么、它和抓取与排名有何不同,以及两分钟检查 Google 是否收录了您的页面。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Search Central: In-depth guide to how Google Search works
  2. Google Search Central: Learn about sitemaps
  3. Google Search Central: Introduction to robots.txt
  4. Google Search Central: Block Search indexing with noindex
  5. Google Search Central: Crawl budget management for large sites
  6. Google Search Central: Understand JavaScript SEO basics
  7. Google Search Central: Link best practices for Google
  8. Google Search Central: Mobile site and mobile-first indexing best practices
  9. Google Search Central: What is canonicalization
  10. Google Search Central: Ask Google to recrawl your URLs
  11. Google Search Central Blog: The Search Console mobile friendly testing tool (retired)