JetOctopus 网站抓取:设置、大型网站参数和提醒
简短回答 创建项目,点击 New crawl,输入首页地址,再选择模式:整站、仅站点地图或网址列表。大型网站要排除跟踪和筛选网址,线程数保持较低,并留出最多 10% 的页面额度。在个人资料菜单中关联 Search Console;设置定时抓取并添加提醒。套餐每月 $349 起。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话JetOctopus 网站抓取:设置步骤
JetOctopus 是云端抓取工具:它在自己的服务器上沿着链接逐页浏览您的网站,方式和 Google 的抓取程序一样,所以您的电脑不用做任何工作。以下步骤依据 JetOctopus 在 2020–2022 年写的帮助文章;如今应用里的按钮名称可能略有不同。
| 步骤 | 位置 | 设置内容 |
|---|---|---|
| 1. 创建项目 | Dashboard | 一个网站,或网站中的一个板块,起一个清楚的名字 |
| 2. 开始抓取 | Project > New crawl | 带 https:// 的首页地址 |
| 3. 选择抓取模式 | Basic settings | Default(整站)、Only Sitemap 或 URL list |
| 4. 设定范围和负载 | Basic settings | 子域名、robots 规则、页面上限、线程数、JavaScript |
| 5. 排除无用网址 | Advanced settings | Deny 规则或自定义 robots.txt |
| 6. 保存并启动 | 表单底部 | 勾选“Save as project defaults”,再点 Start crawl |
| 7. 关联 Search Console | 头像图标 > GSC Integration | +Add Google Account |
| 8. 定时和提醒 | 项目菜单 | New scheduled crawl,然后 Create alert |
逐项看抓取设置
大多数设置保持默认即可。会改变结果的是这些:
| 设置 | 默认 | 何时修改 |
|---|---|---|
| Crawl Subdomains | 关闭:blog.yoursite.com 被当作另一个网站 | 您希望子域名出现在同一份报告里 |
| Crawl mode | 找出页面代码里的每一个链接 | 您只需要站点地图里的页面,或一份最多 100,000 个网址的列表 |
| Respect robots rules | 未说明 | 打开可看到 Google 能抓取什么;改版前关闭,可看到网站生成的每一个页面 |
| Execute JavaScript | 未说明 | 您的文字或链接要在脚本运行后才出现。每个这样的页面消耗 2 个页面额度 |
| Do not crawl URLs with GET parameters | 未说明 | 带“?”的地址是筛选或跟踪参数,而且您确定 Google 无法抓取或收录它们 |
| Pages limit | 未说明 | 测试时。JetOctopus 建议抓取整个网站 |
| Threads | 未说明 | 只有主机扛得住时才调高。5 个线程相当于 5 个访客同时访问 |
| Process sitemaps | 未说明 | 勾选后会把站点地图里的网址加入抓取 |
| Process images data | 关闭 | 您需要图片的详细信息 |
| Cookies | 关闭:抓取程序每次都以新访客身份访问 | 您的服务器需要 Cookies |
来源:JetOctopus 关于配置抓取、列表模式和 JavaScript 抓取的帮助文章。
如果网站只有几百个页面,输入首页、勾选 Process sitemaps 再启动即可。其余设置在网站很大时才重要。
大型网站的设置
“大型”指数万个网址或更多。JetOctopus 针对大型网站的建议:
- 能抓全站就抓全站。 JetOctopus 提醒,部分抓取无法显示内部链接如何在页面之间传递权重。
- 先跑一次小规模测试抓取。 它会显示您网站生成的网址模式:跟踪标签、会话 ID、筛选组合。
- 只排除 Google 访问不到的网址。 使用 Deny 规则(每行一条;正则表达式以 rx: 开头)。JetOctopus 的前提是:“you must be sure that search engines cannot crawl these URLs”(您必须确定搜索引擎无法抓取这些网址)。如果 Google 能抓取,它们就应该出现在报告里。
- 不确定规则怎么写?用自定义 robots.txt。 把线上的 robots.txt 复制到 Advanced settings,添加规则,并用 2,000–3,000 个网址测试。
- 留出最多 10% 的页面额度。 这部分用于重新抓取在抓取过程中返回服务器错误(5xx)的页面。
- 保持 nofollow 选项开启。 关闭后,可能会漏掉用 rel="nofollow" 链接、但可被收录的页面。
- 只抓一个文件夹,请用 Allow 规则。 把文件夹地址作为起始地址,仍然会抓取整个网站。
您真的有抓取预算问题吗?Google 说大多数网站没有:
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Search Central: Optimize your crawl budget) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就会被抓取,那么您无需阅读本指南。”
Google 这份指南针对的是拥有 100 万个以上、每周变化的页面的网站,或 10,000 个以上、每天变化的页面的网站。参见抓取预算。
关于 JavaScript:只有页面需要时才开启。Google 指出,抓取并读取 HTML 的方式“works well for classical websites or server-side rendered pages”(对传统网站或服务器端渲染的页面效果很好)(Google Search Central: JavaScript SEO basics)。默认渲染时间为 10 秒;参见 JavaScript SEO 审核。
关联 Google Search Console
关联在账户层面设置一次即可,不是每次抓取都要设置:
- 点击右上角的头像图标,再点 GSC Integration。
- 点击 +Add Google Account。
- 允许 JetOctopus 读取您的 Search Console 数据。该 Google 账户必须已在 Search Console 中完成验证。
各套餐可关联的 Search Console 资源数量有上限:Growth 为 3 个,Pro 为 10 个,面向企业内部团队的 Ultra 为 20 个(JetOctopus 定价)。如果您还没设置 Search Console,请先看免费的 Search Console 技术 SEO 审核。
定时抓取和设置提醒
定时: 在项目菜单中点击 New scheduled crawl。选择每天、每周、每两周或每月(或选 Once,稍后开始一次),以及星期几、开始日期和时区。频率要和网站的更新频率相符;JetOctopus 建议每次发布后用定时抓取追踪变化。每次定时抓取都会消耗您每月的页面额度。
提醒: JetOctopus 表示客户“can set up an unlimited number of alerts for free”(可以免费设置无限数量的提醒),涵盖四个方面:日志、Search Console、抓取和 Core Web Vitals(速度评分)。每个提醒包含三部分:
| 部分 | 您要选择的内容 |
|---|---|
| Configure conditions | 要监控的数据和页面 |
| Alert configuration | 多久检查一次、什么情况触发;可用“Test Alert”试运行 |
| Send alerts to | 电子邮箱、Slack,或带国家代码的短信 |
对大多数网站有用的提醒:关键页面不再返回 200(正常)、关键页面从 Google 索引中掉出、发布后重复标题增加一半。抓取和 Core Web Vitals 提醒需要定时抓取。日志提醒需要直接接入服务器日志;手动上传的日志无法触发提醒。日志能看出什么,参见 AI 抓取程序服务器日志。
小企业需要 JetOctopus 吗?
通常不需要。2026 年 11 月的月费:Growth $349(500,000 个抓取网址)、Pro $809(200 万个)、Ultra $1,559(500 万个),按年付费;按季付费大约贵三分之一。可免费试用 7 天,需先预约演示,无需银行卡。价格以美元或欧元计,没有加元价格(JetOctopus 定价)。
页面少于几千个的网站,可以走免费路线:
- Google Search Console: 看 Google 实际抓取和收录了什么。
- Screaming Frog SEO Spider 免费版: 在您自己的电脑上最多抓取 500 个网址(Screaming Frog 定价)。
当网站有数十万个网址,或者您需要把服务器日志、抓取和 Search Console 集中在一处并配上提醒时,JetOctopus 才值这个价。完整的审核顺序,参见技术 SEO 审核。
示例
以下为说明用案例,数字是虚构的。
一家有 400,000 个网址的网店(美元)
一次 3,000 个网址的测试抓取显示,70% 的地址是颜色和尺码筛选,全部已在 robots.txt 中屏蔽。这家店把 robots.txt 复制到自定义字段,把上限设为 450,000 以留出 10% 余量,使用每月 $349 的 Growth 套餐运行。
温哥华一家有 80 个页面的家居服务公司(加元)
演示显示,JetOctopus 没有提供 Search Console 和免费 500 个网址抓取之外的任何东西。每月工具费用仍为 $0。
每周复查的新闻网站
每周一次的定时抓取,加上针对重复标题的 Slack 提醒,在一次发布后的第二天早上就发现了一个模板错误。
常见问题
JetOctopus 抓取一次要多久?
JetOctopus 没有公布速度。这取决于网站规模、线程数和 JavaScript 渲染;线程越多完成越快,但服务器负载也越大。
用 JetOctopus 抓取会拖慢我的网站吗?
有可能。每个线程相当于一个访客,所以先用少量线程,只有主机扛得住时再增加。
可以只抓取一个板块吗?
可以。为该文件夹设置 Allow 规则,或把地址粘贴到 URL list 模式(最多 100,000 个)。
提醒要额外付费吗?
据 JetOctopus 说不用。不过抓取和速度提醒依赖定时抓取,而定时抓取会消耗您的页面额度。
您的情况不同?
- 您的网站页面少于几千个:Search Console 技术 SEO 审核。
- Google 抓取您的新页面很慢:抓取预算。
- 您的页面在抓取结果中是空白的:JavaScript SEO 审核。
- 您想了解完整的审核方法,不限工具:技术 SEO 审核。
- 您希望有人替您跑抓取并完成修复:SEO 与 GEO 智能体。