可抓取性检查清单:让 Google 能访问到每个页面
简短回答 Google 靠跟随链接找到页面,所以可抓取性归结为三项检查:每个您想被找到的页面,都有网站上另一个页面给它的普通链接;robots.txt 没有屏蔽它或它需要的文件;链接打开的是正常页面,而不是 404、服务器错误或很长的重定向链。这三项在 Search Console 里都能免费查看。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话可抓取性检查清单:真正重要的几项
抓取就是 Google 的机器人(Googlebot)访问您的页面。它访问不到的页面无法被收录,也就根本不会出现在搜索结果中。Google 表示它“doesn't crawl all the pages it discovered”(不会抓取它发现的所有页面):有些被网站所有者屏蔽,有些需要登录才能看,还有些因服务器或网络问题而抓不到(Google Search Central: How Search works)。
按顺序做以下检查。每一项用免费工具几分钟就能完成。
| # | 检查项 | 在哪里看 | 怎么修 |
|---|---|---|---|
| 1 | 每个您想被找到的页面,都有网站上另一个页面链接到它 | Search Console → 链接 → 内部链接最多的页面 | 从相关页面或菜单加一个链接 |
| 2 | 链接是真正的 HTML 链接 | 右键点菜单项 → 检查:代码应该是带 “href” 地址的 “a” 标签 | 请您的网站负责人改用标准链接 |
| 3 | robots.txt 没有屏蔽您想被找到的页面 | 打开 yourdomain.com/robots.txt,再看网址检查 →“Crawl allowed?” | 删除屏蔽它们的规则 |
| 4 | robots.txt 没有屏蔽页面需要的 CSS、JavaScript 或图片 | 网址检查 → 实时测试 → 查看已测试的页面 | 解除对这些文件的屏蔽 |
| 5 | 没有指向失效页面(404)的链接 | 网页索引编制报告 →“Not found (404)” | 修正链接,或把旧地址重定向 |
| 6 | 没有重定向链或重定向循环 | 网页索引编制报告 →“Redirect error” | 让每个旧地址直接指向最终页面 |
| 7 | 没有服务器错误(5xx) | 网页索引编制报告 →“Server error (5xx)” | 联系您的主机商;反复出现的错误要修,不能只靠重试 |
| 8 | 手机版有同样的页面和链接 | 用手机打开网站,使用菜单 | 把桌面版菜单里的每个链接都放进手机版菜单 |
Search Console 是 Google 为您的网站提供的免费管理后台。如果还没设置,请看小企业如何使用 Google Search Console。
怎样找到孤立页面?
孤立页面是指网站上没有任何其他页面链接到的页面。Google 仍可能通过站点地图或其他网站知道它,但 Google 把您网站内部的链接当作主要入口。它的规则是:
"Every page you care about should have a link from at least one other page on your site." (Google Search Central: Link best practices) 译文:“您在意的每个页面,都应该至少有网站上另一个页面链接到它。”
查找方法:
- 列出您希望客户找到的页面:每项服务、每个服务地区、联系我们、关于我们。
- 在 Search Console 中打开链接 → 内部链接最多的页面。Google 建议用这张表来“confirm that the core site pages (home page, contact page) are properly linked within your site”(确认核心页面,例如首页、联系页面,在网站内部有正确的链接)(Search Console Help: Links report)。
- 第 1 步列出的页面中,凡是不在表里,或者只有一两个链接的,就是要修的清单。这份报告只是样本,不包含所有链接(同一页面),所以请把该页面的地址放进网址检查确认一下。
- 从客户会经过的页面链接过去:服务页面从首页和菜单链接,地区页面从服务页面链接。
小网站常见的孤立页面:为广告做的落地页、从博客列表里掉出去的旧文章,以及被建站工具从菜单中隐藏的页面。
也要检查链接类型。 一般来说,只有标准 HTML 链接(带 href 地址的 “a” 元素)Google 才能抓取;只靠脚本切换页面的按钮和菜单可能不会被跟随(Link best practices)。
robots.txt 有没有屏蔽我需要的页面?
robots.txt 是放在 yourdomain.com/robots.txt 的一个小文本文件,告诉爬虫哪些地址不要访问。用浏览器打开它。`User-agent: *` 下面如果有一行 `Disallow: /`,就是屏蔽整个网站;`Disallow: /services/` 则屏蔽该文件夹下的所有内容。
需要知道三点:
- 没有这个文件也没关系。 Google 的 robots.txt 报告说,没有这个文件“means that Google can crawl all URLs on your site”(意味着 Google 可以抓取您网站上的所有网址)(Search Console Help: robots.txt report)。文件出错反而更糟:如果该地址返回服务器错误,Google 会在最初 12 小时内停止抓取整个网站(Google Crawling Infrastructure: How Google interprets the robots.txt specification)。
- 它不能隐藏页面。 Google 说得很直接:
"it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 译文:“它不是让网页不出现在 Google 中的机制。要让网页不出现在 Google 中,请用 noindex 阻止收录,或为页面设置密码保护。”
- 不要屏蔽页面需要的文件。 如果缺少图片、脚本或样式文件会让页面更难理解,就“don't block them”(不要屏蔽它们)(同一页面)。
要测试单个页面,把它的地址粘贴到 Search Console 的网址检查里。“Crawl allowed?”一行会告诉您 robots.txt 是否允许 Google 访问(Search Console Help: URL Inspection)。在 Wix 或 Blogger 上,您可能根本无法编辑这个文件,而是由建站工具的搜索设置来控制(Introduction to robots.txt)。
是否屏蔽 GPTBot 等 AI 爬虫是另一个问题。请看该不该屏蔽 AI 爬虫?
失效链接、重定向和服务器错误
打开 Search Console → 网页(网页索引编制报告),查看“Why pages aren't indexed”(网页未编入索引的原因)下列出的原因(Search Console Help: Page indexing report)。
| 报告中的原因 | 含义 | 怎么做 |
|---|---|---|
| Not found (404) | 该地址不存在 | 只修那些“you link to yourself or list in a sitemap”(您自己链接到或列在站点地图里的);页面搬了家的,重定向到新地址(同一页面) |
| Soft 404 | 页面显示“找不到”或几乎是空的,却告诉 Google 一切正常 | 返回真正的 404,或加上实际内容 |
| Redirect error | 重定向链太长、形成循环,或链中有错误地址 | 把旧地址直接重定向到最终页面 |
| Server error (5xx) | Google 请求时您的服务器出错 | 请主机商查明原因 |
| Blocked by robots.txt | 某条 robots.txt 规则挡住了 Google | 如果您希望该页面被找到,就删除这条规则 |
为什么每一项都重要:
- 404: 404 页面会从索引中移除,Google 也会逐渐减少访问它(Google Crawling Infrastructure: HTTP status codes)。真正的损失是点了您自己网站上失效链接的那位客户。
- 重定向: Googlebot 最多跟随 10 次跳转(同一页面),但 Google 建议让每个旧地址“to the final destination directly”(直接指向最终目标),做不到的话,跳转“ideally no more than 3 and fewer than 5”(最好不超过 3 次,且少于 5 次)(Google Search Central: Site moves)。每次改版都可能多加一次跳转。请看网站改版后流量下降。
- 服务器错误会让 Google“temporarily slow down with crawling”(暂时放慢抓取),已收录的页面“are preserved in the index, but eventually dropped”(会暂时保留在索引中,但最终会被移除)(Google Crawling Infrastructure: HTTP status codes)。偶尔一晚出问题没关系。每周都出错,就是主机的问题了。
要完整列出您自己网站上的失效链接,可以用桌面爬虫工具。请看 Screaming Frog 使用教程;同一个工具也能抓取您自己的网站。
我需要站点地图吗?要不要担心抓取预算?
站点地图是向搜索引擎列出您网站页面的文件。Google 说,如果您的网站“about 500 pages or fewer”(大约 500 个页面或更少),内部链接做得好,让 Googlebot 从首页就能到达每个重要页面,而且需要出现在搜索中的视频、图片或新闻页面不多,您可能不需要站点地图(Google Search Central: What is a sitemap)。大多数建站工具反正会自动生成一个,有也无妨。
抓取预算是指 Google 在一段时间内会在您网站上抓取多少页面。Google 的这份指南是写给有“1 million+ unique pages”(100 万个以上不同页面)且每周更新的网站,或有 10,000 个以上页面且每天更新的网站;对其他网站,Google 说保持站点地图最新并查看网页索引编制报告就“is adequate”(足够了)(Google Crawling Infrastructure: Crawl budget management)。只有 30 个页面的服务类网站可以跳过这一项。
手机版优先。 Google 收录的是手机版,而且“only the content shown on the mobile site is used for indexing”(只有手机版网站上显示的内容会用于编制索引)(Google Search Central: Mobile-first indexing)。只在桌面版菜单里有链接的服务页面,在手机版上就可能变成孤立页面。
结构化数据和页面速度影响的是页面如何展示和排名,而不是 Google 能否访问到它。规范标签(canonical)用来决定几个重复页面中收录哪一个,也不能帮助 Google 访问页面(Google Search Central: What is canonicalization)。如果页面能被访问却仍未被收录,那是另一个问题:请看已抓取或已发现,但尚未编入索引。
示例
有五个地区页面的清洁公司
一家清洁公司为五个城镇各做了一个页面,但菜单只链接到“服务”。Search Console 的链接报告里只有首页和联系页面,五个城镇页面一个都没有。在服务页面上加一个“服务地区”板块,链接全部五个页面,一个下午就解决了孤立页面问题。
改版后的诊所
一家诊所在 2024 年把 /services/botox.html 改成 /botox/,2026 年又改成 /treatments/botox/,但一条旧规则仍把 /treatments/botox/ 送回 /botox/。网页索引编制报告把它列在“Redirect error”下:这是一个循环。删掉旧规则,让每个旧地址直接指向 /treatments/botox/,问题就解决了。
承包商被屏蔽的文件夹
一位承包商的 robots.txt 是从模板复制来的,里面有 `Disallow: /wp-content/`。网址检查的截图显示页面没有样式也没有照片。删掉这一行后,Google 就能像客户一样看到完整页面。
常见问题
SEO 中的可抓取性是什么?
就是搜索引擎的机器人能否通过跟随链接到达并加载某个页面。它到不了的页面,就无法被收录或排名。
抓取和收录是一回事吗?
不是。抓取是 Google 访问页面;收录是 Google 把页面存起来,以便在搜索结果中展示。页面可能被抓取了却仍未被收录。
怎样检查 Google 能否抓取某个页面?
把地址粘贴到 Search Console 的网址检查中,运行实时测试。“Crawl allowed?”和“Page fetch”会告诉您是 robots.txt 还是服务器挡住了 Google(Search Console Help: URL Inspection)。
失效链接会影响我的排名吗?
Google 没有说过存在全站性的惩罚。但 404 页面会从索引中移除,碰到它的访客也会离开,所以请修好您自己链接到的那些。
这份清单多久做一次?
每次改版、迁移或新增一批页面之后都做一次,另外每月快速看一眼网页索引编制报告。
您的情况不同?
- 整个网站都不在 Google 上:先看网站在 Google 上搜不到。
- 页面能被访问但没有被收录:请看已抓取或已发现,但尚未编入索引。
- 您刚改版或更换了域名:请看网站改版后流量下降。
- 菜单或页面结构需要重建:这属于网站工作。请看 /website/。
- 您希望每个月有人替您做这些检查:请看 /seo/。