搜索引擎爬虫:机器人如何发现和读取您的网站
简短回答 爬虫是一种程序,它顺着链接从一个页面爬到另一个页面,把找到的内容下载下来,供搜索引擎编入索引。帮它的办法:给每个重要页面都加上普通链接,网站较大时再加一个站点地图。控制它的办法:robots.txt(决定它能抓取什么)和 noindex(决定什么能出现在搜索结果里)。大多数小网站只需要这些。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话搜索引擎爬虫是怎么工作的?
爬虫(也叫机器人或蜘蛛)是一种下载网页的软件,搜索引擎据此决定要不要把网页存进索引,也就是搜索结果所依据的数据库。Google 的爬虫叫 Googlebot。Google 把这个过程分为三个阶段,页面在任何一个阶段都可能掉队:
| 阶段 | 发生什么 | 什么会让它停下 |
|---|---|---|
| 发现 | Google 得知某个网址存在,主要通过它已知页面上的链接,或者通过站点地图 | 没有任何链接指向这个页面 |
| 抓取 | Googlebot 获取页面,并用较新版本的 Chrome 运行页面的 JavaScript | robots.txt 屏蔽、服务器错误、需要登录 |
| 编入索引 | Google 读取文字、标题和图片,在重复版本中选出一个,并可能把它存起来 | noindex 标记、内容质量低 |
排名发生在这三个阶段之后,而且谁都没法花钱跳过它们:
"Google doesn't accept payment to crawl a site more frequently, or rank it higher. If anyone tells you otherwise, they're wrong." (Google Search Central: In-depth guide to how Google Search works) 译文:“Google 不会收钱来更频繁地抓取某个网站,也不会收钱提高它的排名。如果有人跟您说可以,那他就是错的。”
根据 Google 的 Googlebot 页面,有三点会影响您怎么搭建网站:
- 它主要以手机身份浏览。 Google 对大多数网站都以移动版编入索引,所以大部分访问来自 Googlebot Smartphone。移动版布局里缺少的内容可能会被漏掉。
- 大文件它只读开头。 它只获取页面或其他支持的文件的前 2MB(PDF 是 64MB),其余部分忽略。旧文章常说 15MB;现在的页面写的是 2MB。
- 它访问得很温和。 在大多数网站上,平均每隔几秒最多来一次。
哪些爬虫会访问小企业网站?
您的主机或分析日志会按名字(“用户代理”,user agent)列出它们。与搜索相关的有这些:
| 爬虫 | 运营方 | 为谁提供数据 |
|---|---|---|
| Googlebot Smartphone 和 Desktop | Google 搜索、Discover、图片、新闻 | |
| Bingbot | Microsoft | Bing |
| Applebot | Apple | Spotlight、Siri 和 Safari 搜索 |
| AI 机器人(GPTBot、ClaudeBot、PerplexityBot 等) | AI 公司 | AI 训练或 AI 回答 |
Apple 表示,Applebot 的数据用于“Spotlight, Siri, and Safari”(Spotlight、Siri 和 Safari)中的搜索。要不要让 AI 机器人进来是另一个问题:参见您该屏蔽 AI 爬虫吗?。
爬虫怎么发现新页面?
主要靠顺着链接走。Google 说得很直白:
"Every page you care about should have a link from at least one other page on your site." (Google Search Central: Make your links crawlable) 译文:“您在意的每个页面,都应该至少有一个来自您网站其他页面的链接。”
链接必须是真正的链接。Google 表示,一般只有标准的 HTML 链接标签(“a”元素)带 href 地址时,它才能抓取。只靠脚本跳转到页面的按钮可能永远不会被跟踪。大多数建站工具生成的都是正规链接;问题通常出在自定义代码写的菜单上。
其他入口,按对小网站的用处从大到小排列:
- 站点地图,一个列出您页面地址的文件。Google 表示,大约 500 页或更少、页面之间链接良好的网站可能不需要它,而且 WordPress、Wix 等系统通常会自动替您发布一个。Google 会忽略其中的 `priority` 和 `changefreq` 值。
- 在 Search Console 的网址检查工具中请求编入索引,适用于单个新页面或修改过的页面。Google 提醒,抓取“can take anywhere from a few days to a few weeks”(可能需要几天到几周不等),有配额限制,重复请求也不会更快。
- IndexNow,一种通知机制,告诉 Bing、Yandex、Naver、Seznam、Yep 等搜索引擎某个页面有变化。提交一次,所有参与的引擎都能收到。Google 不在它的参与引擎名单上。
新页面过了几周还没出现?那是编入索引的问题:参见已抓取或已发现,尚未编入索引。
怎么控制爬虫的行为?
根据您的目的选工具,因为它们各管各的事:
| 您想要 | 用什么 | 原因 |
|---|---|---|
| 让爬虫跳过某些网址(站内搜索结果页、日期无穷无尽的日历) | robots.txt,放在 yoursite.com/robots.txt 的文本文件 | 节省抓取;但不会隐藏页面 |
| 让某个页面不出现在搜索结果里(感谢页、员工登录页) | 页面代码中的 noindex 标记 | Google 下次抓取该页面时会把它移除 |
| 让外人打不开某个页面(客户文件) | 密码保护 | 唯一能真正保密的办法 |
要避免的错误是用 robots.txt 隐藏页面:
"it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 译文:“它不是让网页不出现在 Google 上的机制。要让网页不出现在 Google 上,请用 noindex 阻止编入索引,或用密码保护该页面。”
也不要两者一起用。Google 表示,被 robots.txt 屏蔽的页面永远不会被抓取,所以爬虫根本看不到它的 noindex;如果其他网站链接到它,这个页面仍可能出现在结果里。
robots.txt 还有一个陷阱:如果这个文件返回服务器错误,根据 Google 的 robots.txt 规则,它在头 12 小时内会停止抓取整个网站,之后最多 30 天使用上一次正常的副本。文件不存在(返回 404)没问题;Google 会认为没有任何限制。
小企业需要操心抓取预算吗?
几乎不需要。抓取预算是 Google 能够并且愿意在您网站上抓取的网址数量。Google 自己的指南写明了适用对象:每周更新、页数在 100 万或以上的网站,每天更新、页数在 1 万或以上的网站,或者大量内容处于“已发现 - 尚未编入索引”状态的网站。它还补充说:
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Search Central: Crawl budget management for large sites) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就被抓取,您就不需要阅读本指南。”
对任何网站都仍有帮助的:快速稳定的服务器(响应一直很快时,Google 会提高抓取上限),以及对已删除的页面返回真正的 404 或 410 状态码。
爬虫拖慢了我的网站怎么办?
先确认访客是不是真的。Google 表示它的用户代理名称“is often spoofed”(经常被冒充),所以自称 Googlebot 的机器人不一定是真的。真的 Googlebot 能通过反向 DNS 查询:日志里的 IP 地址解析出的名称以 googlebot.com、google.com 或 googleusercontent.com 结尾,而且这个名称能再解析回同一个 IP。Apple 的真爬虫解析为 applebot.apple.com。您的主机商可以帮您做这项检查。
如果确实是 Googlebot,而您的服务器扛不住:
- Search Console 的抓取频率设置已经没有了。 Google 在 2024 年 1 月 8 日移除了抓取频率限制工具。
- robots.txt 里的 crawl-delay 对 Google 无效。 Google 的 robots.txt 规则把 crawl-delay 列为“aren't supported”(不受支持)的字段之一。
- 紧急情况下,返回 500、503 或 429 错误码,持续几小时或 1–2 天。Google 会放慢速度,错误停止后再恢复。时间再长,页面可能会从 Google 的索引中掉出去。
- 找出原因。 Google 表示,抓取量突然暴增通常来自会生成无穷网址的筛选和排序选项或日历。用 robots.txt 屏蔽它们。
示例
以下为示意案例,数字为虚构。
一位水管工的 25 页 WordPress 网站
老板担心 Google 找不到他新做的热水器页面。这个页面在“服务”菜单里有链接,WordPress 也已经发布了站点地图。他在 Search Console 里请求编入索引一次,然后等待。不用管抓取预算,不用站点地图工具,也不用付费的“提交服务”。
一家牙科诊所的在线预约日历
主机商报告机器人流量很大。日志显示 Googlebot 在抓取成千上万个日历日期网址。在 robots.txt 里加一行屏蔽日历路径,问题就解决了。治疗项目页面仍然可以被抓取。
一位记账师的客户上传文件夹
客户文件夹里的一份 PDF 出现在 Google 上。robots.txt 解决不了这个问题。她给文件夹加了密码,然后请 Google 移除旧网址;参见从 Google 删除信息。
常见问题
Googlebot 多久抓取一次我的网站?
Google 不公布时间表。Googlebot 访问大多数网站时,平均每隔几秒最多一次;越热门的页面被抓取得越频繁。
我能付钱让 Google 更快抓取我的网站吗?
不能。Google 表示它不接受付费来提高抓取频率或排名。任何卖“Google 提交”服务的人,卖的都是免费的东西。
Googlebot 能看到用 JavaScript 加载的内容吗?
通常能。Google 用较新版本的 Chrome 渲染页面,有时会延迟一段时间。Google 称服务器端渲染是“a great idea”(一个好主意):因为不是每个机器人都运行 JavaScript。
我应该在 robots.txt 里屏蔽恶意机器人吗?
作用不大。Google 表示 robots.txt“cannot enforce crawler behavior”(无法强制爬虫遵守);守规矩的爬虫会遵守它。无视它的抓取程序需要用防火墙或主机商的机器人防护来挡。
您的情况不同?
- 您的网站在 Google 上完全搜不到:网站在 Google 上搜不到。
- Search Console 显示页面未编入索引:已抓取或已发现,尚未编入索引。
- 您在考虑如何对待 GPTBot、ClaudeBot 等 AI 机器人:您该屏蔽 AI 爬虫吗?。
- 您刚搬迁或重建了网站:改版后流量下降。
- 您想自己看懂 Google 的报告:小企业如何使用 Google Search Console。
- 您更希望有人替您做好技术检查:SEO 与 GEO 智能体。