批量网址检查:一次查看大量网页的索引状态
简短回答 先用免费的方法:在 Search Console 的网页索引编制报告中筛选到您的站点地图,看哪些网页没有收录以及原因。要逐页查看详情,网址检查 API(URL Inspection API)每个资源每天最多可检查 2,000 个网址。可以用脚本、Screaming Frog(每年 £199)或爬虫套件来调用它。没有任何工具能突破这个每日上限。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话如何一次检查大量网址的索引状态?
先看网页索引编制报告,报告解决不了的网页再用网址检查 API。Search Console 的检查框每次只能搜索一个地址,但 Google 提供了两种绕过的方法。
| 方法 | 您能得到什么 | 限制 | 费用 |
|---|---|---|---|
| 网页索引编制报告,筛选到某个站点地图 | 您提交的网页中哪些已编入索引、哪些没有,并附原因 | 每个原因的示例列表最多 1,000 个网址 | 免费 |
| 网址检查 API,用您自己的脚本运行 | 每个网址的完整检查数据 | 每个资源每天 2,000 个网址,每分钟 600 个 | 免费 |
| 开启 API 的 Screaming Frog SEO Spider | 为每个抓取到的网页加上索引状态 | 同样每天 2,000 个 | 每年 £199(免费版无法连接 Search Console) |
| JetOctopus 等爬虫套件 | 检查、抓取、日志和提醒集中在一个仪表板上 | 同样每天 2,000 个 | 每月 $349 起,按年计费 |
来源:网页索引编制报告、Search Console API:使用限制、Screaming Frog 价格、JetOctopus 价格,均于 2026 年 11 月 16 日核实。
每日上限是 Google 定的,不是工具定的。所有付费工具调用的都是同一个 API,所以多花钱买到的是更好看的仪表板,而不是更多的检查次数。
我真的需要批量检查吗?
如果您的网站少于 500 个网页,多半不需要。Google 对自己的报告也是这么说的:
"If your site has fewer than 500 pages, you probably don't need to use this report." (Search Console Help: Page indexing report) 译文:“如果您的网站少于 500 个网页,您可能不需要使用这份报告。”
一家只有 30 个网页的水管公司,十分钟就能手动检查完首页和每个服务页面。网站有几百个产品、地点或博客页面,或者改版后很多地址变了,批量检查才划算。
免费方法:把网页索引编制报告筛选到站点地图
站点地图(sitemap)是列出您希望 Google 找到的网页的文件。筛选到它,就能回答“我的哪些网页没被收录?”,不用逐页检查。
- 在 Search Console 中打开“编制索引 > 网页”。
- 在图表上方的筛选器中,选择“所有已提交的网页”或某个站点地图。Google 表示,这会显示“only URLs listed in a specific sitemap or sitemap index”(仅显示特定站点地图或站点地图索引中列出的网址)(Search Console Help)。
- 在“网页未编入索引的原因”下,点击每个原因查看示例网页。
- 把表格导出到电子表格,或点击任意一行的检查图标,打开该网页的网址检查。
问题在于:示例列表“is limited to 1,000 rows”(最多 1,000 行),并且“does not necessarily show all URLs with that issue”(不一定显示存在该问题的所有网址)(同一页面)。要逐页得到完整答案,就需要 API。每个原因的含义见已抓取或已发现,尚未编入索引。还没有站点地图?请看向 Google 提交站点地图。
网址检查 API 是怎么工作的
对任何网页,API 返回的数据和检查框显示的一样。Google 于 2022 年 1 月推出它,每天 2,000 次查询、每分钟 600 次,并且:
"the quota is enforced per Search Console website property" (Google Search Central Blog) 译文:“配额按每个 Search Console 网站资源计算。”
目前的使用限制页面列出的每个网站的数字相同:“2000 QPD”(每天 2,000 次查询)和“600 QPM”(每分钟 600 次查询)(Search Console API: Usage limits)。资源(property)是您在 Search Console 中验证过的网站。您只能检查自己管理的资源上的网页。
运行之前要知道三件事:
- 它显示的是 Google 存储的版本,不是您的实时网页。 Google 表示:“Presently only the status of the version in the Google index is available; you cannot test the indexability of a live URL”(目前只能获取 Google 索引中版本的状态;无法测试实时网址能否编入索引)(API reference)。您昨天做的修改,要等 Google 再次抓取后才会显示。
- 资源越多,配额越多。 上限按资源计算,所以把 `example.com/blog/` 这样的文件夹单独验证为资源,每个都有自己的 2,000 次。Screaming Frog 就利用了这一点:设置多个资源后,它“will automatically detect all relevant properties”(会自动检测所有相关资源),一次抓取就能超过 2,000 个(Screaming Frog)。
- 把配额用在重要的网页上。 Screaming Frog 会查询它找到的前 2,000 个 HTML 网页,并可以跳过已标记为不可编入索引的网页(同一页面)。检查服务、产品和地点页面;跳过标签归档页和筛选页。
用脚本的话,您需要一个开启了 Search Console API 的 Google Cloud 项目,以及该资源的访问权限。如果这句话让您看不懂,站点地图筛选或 Screaming Frog 更适合您。
结果告诉您什么
每个被检查的网址都会返回以下字段。把它们当作清单,从上往下看。
| 字段 | Google 的说明 | 要注意什么 |
|---|---|---|
| verdict | "whether the URL is indexed"(网址是否已编入索引) | 您希望被找到的网页显示 FAIL 或 NEUTRAL(已排除) |
| coverageState | "Could Google find and index the page"(Google 能否找到并编入该网页) | 用文字说明的原因,和网页索引编制报告中的一样 |
| robotsTxtState | "blocked to Google by a robots.txt rule"(被 robots.txt 规则阻止 Google 访问) | 正常网页显示 BLOCKED,说明 robots.txt 写错了 |
| indexingState | "blocks indexing through a noindex rule"(通过 noindex 规则阻止编入索引) | 一个您并不想设置的 noindex |
| pageFetchState | "Google could retrieve the page from your server"(Google 能否从您的服务器获取网页) | 服务器错误、404、重定向 |
| googleCanonical 与 userCanonical | Google 选择的主版本与您声明的版本 | 两者不一致,说明 Google 编入索引的是另一个地址 |
| lastCrawlTime | Google 主爬虫最后一次抓取的时间 | 重要网页已经几个月没被抓取 |
| richResultsResult | "Result of the Rich Results analysis"(富媒体搜索结果分析的结果) | 搜索结果中评价星级或价格背后的标记有错误 |
所有引文都来自 Search Console API: UrlInspectionResult。结果中的移动设备易用性部分在该页面标记为已弃用,所以不要依据它来做检查。“未编入索引”结果背后的完整原因列表见阻止编入索引的问题。
还有一个限制:“网址已收录到 Google”表示有资格出现,而不是保证出现。Google 表示,这个结果“doesn't actually guarantee that your page will appear in Search results”(并不能保证您的网页会出现在搜索结果中)(Search Console Help: URL Inspection tool)。
可以批量请求编入索引吗?
不可以。在 Search Console 中,请求编入索引一次只能针对一个网址,而且有上限:
"There is a daily limit to how many index requests you can submit. If you want many pages indexed, try submitting a sitemap to Google." (Search Console Help: URL Inspection tool) 译文:“您每天可以提交的编入索引请求数量有上限。如果您希望大量网页被编入索引,请尝试向 Google 提交站点地图。”
号称能批量编入索引的工具,往往用的是 Google 的 Indexing API。Google 把它限定于“pages with either JobPosting or BroadcastEvent embedded in a VideoObject”(包含 JobPosting,或在 VideoObject 中嵌入 BroadcastEvent 的网页),并警告滥用行为,“including the use of multiple accounts”(包括使用多个账号),可能导致访问权限被撤销(Indexing API quickstart)。对服务页面或博客文章来说,它是用错了工具。
示例
一家有 40 个网页的屋顶公司网站
老板手动检查首页和八个服务页面:全部显示“网址已收录到 Google”。不需要批量工具。用时 15 分钟,费用 $0。
一家有 1,500 个商品的网店
站点地图筛选显示有 400 个网页“已抓取 - 尚未编入索引”,但看不出它们有什么共同点。开发人员在一天内用 API 检查了 1,500 个商品网址,没超过 2,000 的上限。大部分网页共用同一个 Google 选择的规范网址:这是颜色变体的问题,在模板中修好了。费用:开发人员几个小时的工作时间。
一家有 6,000 个网页的多地点诊所
他们把 `/locations/`、`/services/` 和 `/blog/` 分别验证为独立资源,每个都有自己每天 2,000 次的检查额度,并每周运行一次 Screaming Frog。费用:许可证每年 £199。
常见问题
有免费的批量网址检查工具吗?
Google 的网页索引编制报告是免费的,可以汇总查看所有已提交的网页。网址检查 API 也是免费的;只有购买替您运行它的工具时才需要付费。
为什么所有工具都说每天 2,000 个网址?
这是 Google API 对每个资源的限制,不是工具的功能。任何声称能检查更多的工具,要么是把工作分摊到多个资源上,要么根本没用这个 API。
批量检查显示的是我的实时网页吗?
不是。它报告的是 Google 上次编入索引的版本。要测试今天的版本,请在 Search Console 中使用“测试实际网址”,一次一个网页;这项测试对每个资源也有自己的每日上限。
多久做一次批量检查?
在上线新网页、改版和网址变更之后,以及网页索引编制图表下降时。新网页需要一段时间才会显示;担心之前,先看看Google 编入索引需要多久。
您的情况不同?
- 您的网站少于 500 个网页: 看看Search Console 网页索引编制和网址检查中真正重要的报告。
- 网页显示“已发现”或“已抓取,未编入索引”: 请看已抓取或已发现,尚未编入索引。
- 您怀疑整个网站被阻止: 检查阻止编入索引的问题。
- 您希望有人替您盯着索引状态: 请看 SEO。