产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

JetOctopus SEO 审计:准确度如何,怎么做

更新于 · 阅读约 8 分钟

简短回答 JetOctopus 审计对它的爬虫实际抓到的内容是准确的,而且它的抓取方式和 Googlebot 很像。大多数看起来不对的结果来自设置:JavaScript 关闭、robots 规则、页面上限,或者抓取本身造成的错误。修复任何问题之前,先用 Search Console 核对。套餐起价为每月 $349(按年付费),面向大型网站。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

JetOctopus 审计有多准确?

对它抓到的内容是准确的,但有一个前提:它抓到什么取决于您的设置。JetOctopus 表示,它的爬虫和搜索引擎遵循相同的原理:从一个页面开始,跟踪页面代码里的每个链接,读取 robots.txt 和站点地图,然后检查标题、状态码、加载时间、内容和链接(JetOctopus: How does the JetOctopus crawler work?)。它还提醒:如果抓取显示出错误或缺失的页面,搜索引擎很可能也遇到了同样的错误。

结果看起来不对时,原因通常是下面之一:

您看到的常见原因是真问题吗?
页面数比网站实际少JavaScript 关闭(默认如此)、设了页面上限、深度上限(默认 1,000 次点击),或带“?”参数的网址默认被跳过只有当链接要在 JavaScript 运行后才出现,或页面没有任何链接指向它时才是
页面数比 Google 显示的多Google 从未发现或已删除的页面往往是:去 Search Console 核对
一大批 5xx(服务器)错误服务器过载,有时正是抓取本身造成的只有第二次放慢速度的抓取仍出现时才是
结果和另一个爬虫不同默认设置不同不是:先对比设置
JS 页面和您浏览器里看到的不同JS 等待时间太短、文件被屏蔽或被缓存、抓取之后网站有更新有时是:JetOctopus 说任何差异都“should be a cause for concern”(应当引起关注)

前四行来自 JetOctopus 自己的帮助页面(JetOctopus: Why the results of crawls differ; Why doesn't the number of pages match another crawler)。最后一行来自它关于渲染差异的指南,其中提到它和 Googlebot 一样,用无头 Chrome 渲染页面。Google 也确认了自己这一边:它“runs JavaScript with an evergreen version of Chromium”(用常青版 Chromium 运行 JavaScript)(Google Search Central: JavaScript SEO basics)。

所以抓取数据是可信的。上面的标签(“错误”“警告”)是工具的看法。它们告诉您该看哪里,而不是该修什么。

小网站需要 JetOctopus 吗?

通常不需要。JetOctopus 自称是为大型网站、电商商品目录以及运营这些网站的代理公司打造的平台(JetOctopus: Pricing)。它的价格也与此相符:

选项费用(2026 年 11 月)适合
JetOctopus Growth(企业自用)按年付费每月 $349,按季付费每月 $459;每月可抓取 50 万个网址有几万个页面,或需要分析服务器日志的网站
JetOctopus 免费试用免费 7 天,无需信用卡,在演示通话后开通;1 万个网址在自己的网站上试用
Google Search Console免费Google 自己看到的情况:索引、错误、速度
Screaming Frog SEO Spider500 个网址以内免费;更多需每年 £199在自己电脑上做一次性抓取

价格和试用条款来自 JetOctopus 的价格页面和额度常见问题。它只用美元或欧元标价,没有加元价格。每个套餐都包含无限项目和用户;限制的是每月抓取的网址数(JetOctopus: FAQs - Limits)。JavaScript 抓取中每个页面计为两次。

Google 对 Search Console 的描述很简单:

"Search Console provides information on how Google crawls, indexes, and serves websites." (Google Search Central: Get started with Search Console) 译文:“Search Console 提供有关 Google 如何抓取、索引和展示网站的信息。”

对于一个 30 页的服务类网站,Search Console 加一个免费爬虫就能覆盖同样的内容。免费做法见 DIY SEO 审计 和 Search Console 操作指南。当您有大量页面、服务器日志(服务器为每次访问留下的记录,包括机器人访问)和 Search Console 数据,并想放在一处查看时,JetOctopus 才值这个价。

如何运行 JetOctopus 审计

第 1-6 步来自 JetOctopus 的抓取设置指南(JetOctopus: How to configure a crawl of your website)。

  1. 创建项目,输入起始网址,通常是您的首页。爬虫会从那里开始跟踪链接。
  2. 遵守 robots 规则。 开启时,它像 Google 一样遵守 robots.txt 和 noindex 标签。关闭时,它会显示您网站生成的每个页面。普通审计请保持开启;改版或迁移前再关闭。
  3. 页面上限留空。 JetOctopus 建议完整抓取,而不是部分抓取。
  4. 线程数设低一些。 线程就像同时访问您网站的访客。JetOctopus 说它的爬虫每秒可达 250 个页面,所以除非您确定服务器扛得住,否则请限制线程数(JetOctopus: FAQs - Limits)。
  5. 选择用户代理(user agent)。 默认是桌面浏览器。选择移动端或 Googlebot 代理,就能看到它们看到的内容。
  6. 勾选“Process sitemaps”。 这样能找到没有任何链接指向的页面(孤立页面)。
  7. 开启 JavaScript 渲染,如果您的建站工具用脚本加载菜单或内容。它默认关闭,而且每个渲染页面会按两个网址计入额度(JetOctopus: Why doesn't the number of pages match another crawler; FAQs - Limits)。
  8. 开始抓取。 如果失败,可能是服务器或防火墙屏蔽了爬虫。JetOctopus 公布了需要放行的 IP 地址,并说使用 Googlebot 用户代理可能会被当作假冒机器人屏蔽(JetOctopus: Why does the crawl of your website fail)。

按这个顺序看结果

  1. 页面数。 和您知道的实际页面数对比。差距很大通常是设置或上限造成的,所以先检查这些。
  2. 状态码。 带来客户的页面上的 4xx(页面不存在)和 5xx(服务器出错)最优先。其次是重定向链;见重定向问题。
  3. 可索引性。 服务页面上的 noindex 标签是代价最大的发现:
"When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it." (Google Search Central: Block Search indexing with noindex) 译文:“当 Googlebot 抓取该页面并提取到该标签或标头时,Google 会将该页面从 Google 搜索结果中完全删除,无论是否有其他网站链接到它。”
  1. JavaScript 与 HTML 对比。 如果两个版本的标题、链接或 noindex 标签不同,那就是真问题。详见 JavaScript SEO 审计。
  2. 重复页面和内容单薄的页面。 当作清理工作,而不是紧急情况:
"Having duplicate content on your site is not a violation of our spam policies, but it can be a bad user experience and search engines might waste crawling resources on URLs that you don't even care about." (Google Search Central: SEO Starter Guide) 译文:“网站上有重复内容并不违反我们的垃圾内容政策,但这可能带来糟糕的用户体验,而且搜索引擎可能会把抓取资源浪费在您根本不在意的网址上。”
  1. 链接和孤立页面。 没有内部链接的服务页面,需要从菜单或首页加一个链接。

修复之前先核对准确性

三项核对能把工具的看法变成修复清单:

  • Search Console 的网页索引编制报告。 JetOctopus 自己也说两边的数字常常不同。抓取到的页面比 Google 少,通常意味着 JavaScript 链接、内部链接薄弱,或旧页面仍留在 Google 索引中。抓取中可索引页面比 Google 已索引的多,则“warrants attention”(值得关注),可能说明存在索引问题(JetOctopus: Why the Page indexing report differs from crawl data)。见页面未被索引。
  • 放慢速度重新抓取被标记的页面。 低速下消失的服务器错误,是抓取本身造成的。
  • 修复后重新抓取。 每个套餐都包含抓取前后对比(JetOctopus: Pricing),您可以看到每项修复是否生效。
  • 在日志报告中验证机器人。 任何人都可以自称是 Googlebot。Google 提供了核实方法:
"This is useful if you're concerned that spammers or other troublemakers are accessing your site while claiming to be from Google." (Google Crawling Infrastructure: Verify requests from Google crawlers) 译文:“如果您担心垃圾信息发送者或其他捣乱者冒充 Google 访问您的网站,这会很有用。”

补上工具看不到的背景

爬虫看到的是您网站今天的样子。有三件事您知道,它不知道:

  • 您的目标。 如果来电来自五个服务页面,这些页面上的问题排在最前。标签页和旧博客归档可以等。
  • 哪些是有意为之。 很短的联系页面、加载慢的图片库、设了 noindex 的感谢页面:都会被标记,但都没问题。
  • 网站的历史。 迁移到新域名、改版或插件更新,能解释大量重定向和流量下降。看报告之前,先记下每次重大变动的日期。

抓取预算(Google 从您网站抓取多少页面)会出现在 JetOctopus 报告里,但对小网站很少有影响。Google 的指南针对的是有 100 万以上页面,或有 1 万以上页面且每天变化的网站,并且说:

"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Crawling Infrastructure: Crawl budget management) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就被抓取,您就不需要阅读本指南。”

详见小网站的抓取预算。

示例

一个 40 页的园林绿化网站,使用试用版

抓取找到 31 个页面,而不是 40 个。JavaScript 是关闭的;建站工具用脚本加载服务菜单。开启 JavaScript 抓取后找到全部 40 个,而 Search Console 显示 Google 只索引了 32 个。修复方法:给缺失的 8 个服务页面加上普通 HTML 链接。费用:$0,然后试用结束。

一家有 20,000 件商品的零配件商店,使用 Growth 套餐

按年付费每月 $349,这家商店接入了服务器日志和 Search Console。日志显示 Googlebot 的大部分访问花在筛选网址上,而不是商品页面。这正是抓取预算建议所针对的情况。

常见问题

JetOctopus 比 Screaming Frog 更准确吗?

只要设置相同,两者抓到的页面相同。页面数的差异通常来自默认设置,例如 JavaScript、站点地图、深度和网址参数。

JetOctopus 有免费套餐吗?

没有。它有 7 天免费试用,无需信用卡,在演示通话后开通,限 1 万个抓取网址(JetOctopus: FAQs - Limits)。

JetOctopus 抓取会拖慢我的网站吗?

线程数设得高就会。JetOctopus 说速度由您选择,5 个线程是中等速度。

审计列出的每个问题都要修吗?

不用。用 Search Console 核对之后,修复带来客户的页面上的问题。

您的情况不同?

继续阅读

下一篇批量网址检查:一次查看大量网页的索引状态Search Console 一次只能检查一个网址。如何查看几百个网页的索引状态:免费的站点地图筛选、API 每天 2,000 次的上限,以及付费工具。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. JetOctopus: Pricing
  2. JetOctopus: FAQs - Limits
  3. JetOctopus: How to configure a crawl of your website
  4. JetOctopus: How does the JetOctopus crawler work?
  5. JetOctopus: Why the results of crawls differ
  6. JetOctopus: Why doesn't the number of pages match another crawler
  7. JetOctopus: Why a page renders differently in a JS crawl
  8. JetOctopus: Why the Page indexing report differs from crawl data
  9. JetOctopus: Why does the crawl of your website fail
  10. Google Search Central: Get started with Search Console
  11. Search Console Help: About Search Console
  12. Google Search Central: Block Search indexing with noindex
  13. Google Search Central: SEO Starter Guide
  14. Google Search Central: JavaScript SEO basics
  15. Google Crawling Infrastructure: Crawl budget management
  16. Google Crawling Infrastructure: Verify requests from Google crawlers
  17. Screaming Frog: SEO Spider pricing