产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

可抓取性检查清单:让 Google 能访问到每个页面

更新于 · 阅读约 8 分钟

简短回答 Google 靠跟随链接找到页面,所以可抓取性归结为三项检查:每个您想被找到的页面,都有网站上另一个页面给它的普通链接;robots.txt 没有屏蔽它或它需要的文件;链接打开的是正常页面,而不是 404、服务器错误或很长的重定向链。这三项在 Search Console 里都能免费查看。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

可抓取性检查清单:真正重要的几项

抓取就是 Google 的机器人(Googlebot)访问您的页面。它访问不到的页面无法被收录,也就根本不会出现在搜索结果中。Google 表示它“doesn't crawl all the pages it discovered”(不会抓取它发现的所有页面):有些被网站所有者屏蔽,有些需要登录才能看,还有些因服务器或网络问题而抓不到(Google Search Central: How Search works)。

按顺序做以下检查。每一项用免费工具几分钟就能完成。

#检查项在哪里看怎么修
1每个您想被找到的页面,都有网站上另一个页面链接到它Search Console → 链接 → 内部链接最多的页面从相关页面或菜单加一个链接
2链接是真正的 HTML 链接右键点菜单项 → 检查:代码应该是带 “href” 地址的 “a” 标签请您的网站负责人改用标准链接
3robots.txt 没有屏蔽您想被找到的页面打开 yourdomain.com/robots.txt,再看网址检查 →“Crawl allowed?”删除屏蔽它们的规则
4robots.txt 没有屏蔽页面需要的 CSS、JavaScript 或图片网址检查 → 实时测试 → 查看已测试的页面解除对这些文件的屏蔽
5没有指向失效页面(404)的链接网页索引编制报告 →“Not found (404)”修正链接,或把旧地址重定向
6没有重定向链或重定向循环网页索引编制报告 →“Redirect error”让每个旧地址直接指向最终页面
7没有服务器错误(5xx)网页索引编制报告 →“Server error (5xx)”联系您的主机商;反复出现的错误要修,不能只靠重试
8手机版有同样的页面和链接用手机打开网站,使用菜单把桌面版菜单里的每个链接都放进手机版菜单

Search Console 是 Google 为您的网站提供的免费管理后台。如果还没设置,请看小企业如何使用 Google Search Console。

怎样找到孤立页面?

孤立页面是指网站上没有任何其他页面链接到的页面。Google 仍可能通过站点地图或其他网站知道它,但 Google 把您网站内部的链接当作主要入口。它的规则是:

"Every page you care about should have a link from at least one other page on your site." (Google Search Central: Link best practices) 译文:“您在意的每个页面,都应该至少有网站上另一个页面链接到它。”

查找方法:

  1. 列出您希望客户找到的页面:每项服务、每个服务地区、联系我们、关于我们。
  2. 在 Search Console 中打开链接 → 内部链接最多的页面。Google 建议用这张表来“confirm that the core site pages (home page, contact page) are properly linked within your site”(确认核心页面,例如首页、联系页面,在网站内部有正确的链接)(Search Console Help: Links report)。
  3. 第 1 步列出的页面中,凡是不在表里,或者只有一两个链接的,就是要修的清单。这份报告只是样本,不包含所有链接(同一页面),所以请把该页面的地址放进网址检查确认一下。
  4. 从客户会经过的页面链接过去:服务页面从首页和菜单链接,地区页面从服务页面链接。

小网站常见的孤立页面:为广告做的落地页、从博客列表里掉出去的旧文章,以及被建站工具从菜单中隐藏的页面。

也要检查链接类型。 一般来说,只有标准 HTML 链接(带 href 地址的 “a” 元素)Google 才能抓取;只靠脚本切换页面的按钮和菜单可能不会被跟随(Link best practices)。

robots.txt 有没有屏蔽我需要的页面?

robots.txt 是放在 yourdomain.com/robots.txt 的一个小文本文件,告诉爬虫哪些地址不要访问。用浏览器打开它。`User-agent: *` 下面如果有一行 `Disallow: /`,就是屏蔽整个网站;`Disallow: /services/` 则屏蔽该文件夹下的所有内容。

需要知道三点:

  • 没有这个文件也没关系。 Google 的 robots.txt 报告说,没有这个文件“means that Google can crawl all URLs on your site”(意味着 Google 可以抓取您网站上的所有网址)(Search Console Help: robots.txt report)。文件出错反而更糟:如果该地址返回服务器错误,Google 会在最初 12 小时内停止抓取整个网站(Google Crawling Infrastructure: How Google interprets the robots.txt specification)。
  • 它不能隐藏页面。 Google 说得很直接:
"it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 译文:“它不是让网页不出现在 Google 中的机制。要让网页不出现在 Google 中,请用 noindex 阻止收录,或为页面设置密码保护。”
  • 不要屏蔽页面需要的文件。 如果缺少图片、脚本或样式文件会让页面更难理解,就“don't block them”(不要屏蔽它们)(同一页面)。

要测试单个页面,把它的地址粘贴到 Search Console 的网址检查里。“Crawl allowed?”一行会告诉您 robots.txt 是否允许 Google 访问(Search Console Help: URL Inspection)。在 Wix 或 Blogger 上,您可能根本无法编辑这个文件,而是由建站工具的搜索设置来控制(Introduction to robots.txt)。

是否屏蔽 GPTBot 等 AI 爬虫是另一个问题。请看该不该屏蔽 AI 爬虫?

打开 Search Console → 网页(网页索引编制报告),查看“Why pages aren't indexed”(网页未编入索引的原因)下列出的原因(Search Console Help: Page indexing report)。

报告中的原因含义怎么做
Not found (404)该地址不存在只修那些“you link to yourself or list in a sitemap”(您自己链接到或列在站点地图里的);页面搬了家的,重定向到新地址(同一页面)
Soft 404页面显示“找不到”或几乎是空的,却告诉 Google 一切正常返回真正的 404,或加上实际内容
Redirect error重定向链太长、形成循环,或链中有错误地址把旧地址直接重定向到最终页面
Server error (5xx)Google 请求时您的服务器出错请主机商查明原因
Blocked by robots.txt某条 robots.txt 规则挡住了 Google如果您希望该页面被找到,就删除这条规则

为什么每一项都重要:

  • 404: 404 页面会从索引中移除,Google 也会逐渐减少访问它(Google Crawling Infrastructure: HTTP status codes)。真正的损失是点了您自己网站上失效链接的那位客户。
  • 重定向: Googlebot 最多跟随 10 次跳转(同一页面),但 Google 建议让每个旧地址“to the final destination directly”(直接指向最终目标),做不到的话,跳转“ideally no more than 3 and fewer than 5”(最好不超过 3 次,且少于 5 次)(Google Search Central: Site moves)。每次改版都可能多加一次跳转。请看网站改版后流量下降。
  • 服务器错误会让 Google“temporarily slow down with crawling”(暂时放慢抓取),已收录的页面“are preserved in the index, but eventually dropped”(会暂时保留在索引中,但最终会被移除)(Google Crawling Infrastructure: HTTP status codes)。偶尔一晚出问题没关系。每周都出错,就是主机的问题了。

要完整列出您自己网站上的失效链接,可以用桌面爬虫工具。请看 Screaming Frog 使用教程;同一个工具也能抓取您自己的网站。

我需要站点地图吗?要不要担心抓取预算?

站点地图是向搜索引擎列出您网站页面的文件。Google 说,如果您的网站“about 500 pages or fewer”(大约 500 个页面或更少),内部链接做得好,让 Googlebot 从首页就能到达每个重要页面,而且需要出现在搜索中的视频、图片或新闻页面不多,您可能不需要站点地图(Google Search Central: What is a sitemap)。大多数建站工具反正会自动生成一个,有也无妨。

抓取预算是指 Google 在一段时间内会在您网站上抓取多少页面。Google 的这份指南是写给有“1 million+ unique pages”(100 万个以上不同页面)且每周更新的网站,或有 10,000 个以上页面且每天更新的网站;对其他网站,Google 说保持站点地图最新并查看网页索引编制报告就“is adequate”(足够了)(Google Crawling Infrastructure: Crawl budget management)。只有 30 个页面的服务类网站可以跳过这一项。

手机版优先。 Google 收录的是手机版,而且“only the content shown on the mobile site is used for indexing”(只有手机版网站上显示的内容会用于编制索引)(Google Search Central: Mobile-first indexing)。只在桌面版菜单里有链接的服务页面,在手机版上就可能变成孤立页面。

结构化数据和页面速度影响的是页面如何展示和排名,而不是 Google 能否访问到它。规范标签(canonical)用来决定几个重复页面中收录哪一个,也不能帮助 Google 访问页面(Google Search Central: What is canonicalization)。如果页面能被访问却仍未被收录,那是另一个问题:请看已抓取或已发现,但尚未编入索引。

示例

有五个地区页面的清洁公司

一家清洁公司为五个城镇各做了一个页面,但菜单只链接到“服务”。Search Console 的链接报告里只有首页和联系页面,五个城镇页面一个都没有。在服务页面上加一个“服务地区”板块,链接全部五个页面,一个下午就解决了孤立页面问题。

改版后的诊所

一家诊所在 2024 年把 /services/botox.html 改成 /botox/,2026 年又改成 /treatments/botox/,但一条旧规则仍把 /treatments/botox/ 送回 /botox/。网页索引编制报告把它列在“Redirect error”下:这是一个循环。删掉旧规则,让每个旧地址直接指向 /treatments/botox/,问题就解决了。

承包商被屏蔽的文件夹

一位承包商的 robots.txt 是从模板复制来的,里面有 `Disallow: /wp-content/`。网址检查的截图显示页面没有样式也没有照片。删掉这一行后,Google 就能像客户一样看到完整页面。

常见问题

SEO 中的可抓取性是什么?

就是搜索引擎的机器人能否通过跟随链接到达并加载某个页面。它到不了的页面,就无法被收录或排名。

抓取和收录是一回事吗?

不是。抓取是 Google 访问页面;收录是 Google 把页面存起来,以便在搜索结果中展示。页面可能被抓取了却仍未被收录。

怎样检查 Google 能否抓取某个页面?

把地址粘贴到 Search Console 的网址检查中,运行实时测试。“Crawl allowed?”和“Page fetch”会告诉您是 robots.txt 还是服务器挡住了 Google(Search Console Help: URL Inspection)。

失效链接会影响我的排名吗?

Google 没有说过存在全站性的惩罚。但 404 页面会从索引中移除,碰到它的访客也会离开,所以请修好您自己链接到的那些。

这份清单多久做一次?

每次改版、迁移或新增一批页面之后都做一次,另外每月快速看一眼网页索引编制报告。

您的情况不同?

继续阅读

下一篇当下的站点地图最佳做法:lastmod、IndexNow 和 AI 机器人最新的 XML 站点地图检查清单:Google 和 Bing 读什么、为什么只有 lastmod 有用、IndexNow 如何快速通知 Bing,以及 AI 搜索机器人需要什么。

自己动手

Core Web Vitals 检查清单:让网站变快的速效做法小企业网站一周就能做完的 Core Web Vitals 检查清单:先找出不达标的指标,再做店主自己就能改的图片、布局和脚本修复。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Search Central: Link best practices for Google
  2. Google Search Central: In-depth guide to how Google Search works
  3. Google Crawling Infrastructure: How Google interprets the robots.txt specification
  4. Google Search Central: Introduction to robots.txt
  5. Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers
  6. Google Search Central: Site moves with URL changes
  7. Google Search Central: What is a sitemap
  8. Google Crawling Infrastructure: Crawl budget management
  9. Google Search Central: Mobile-first indexing best practices
  10. Google Search Central: What is canonicalization
  11. Search Console Help: Page indexing report
  12. Search Console Help: robots.txt report
  13. Search Console Help: URL Inspection tool
  14. Search Console Help: Links report