产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 做技术 SEO 审核:分步指南

更新于 · 阅读约 8 分钟

简短回答 安装 SEO Spider,输入您的首页地址,点 Start。小网站用默认设置就行;免费版可抓取 500 个网址。抓取完成后,打开 Issues 标签页,再按 Google 对每个问题的处理方式排序:先修被屏蔽或设为 noindex 的重要页面,然后是服务器错误、失效链接、重定向循环和规范网址。alt 文本放最后。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

用 Screaming Frog 做技术 SEO 审核:步骤

抓取、查看、排序、修复、复查。Screaming Frog 的 SEO Spider 是一款桌面抓取工具:它像 Google 的爬虫一样顺着您网站上的每个链接走,记录每个地址返回的结果。以下步骤依据其 2026 年 11 月的用户指南。

步骤在 Screaming Frog 的哪里免费版可用?
1. 安装并输入您的首页地址“Enter URL to spider”输入框,然后点 Start可以
2. 只在网站确实需要时才改设置Configuration 菜单;File > Settings大多数设置需要许可证
3. 抓取结束后运行抓取分析Crawl Analysis > Start可以,限您能用的筛选项
4. 打开 Issues 标签页右侧窗格可以
5. 按 Google 对问题的处理方式排序下文的表格由您判断
6. 导出修复清单Export 按钮、Bulk Export、Reports可以
7. 重新抓取已修复的页面List 模式:粘贴这些地址可以

该软件需要 64 位电脑、至少 4 GB 内存,可在 Windows、macOS 和 Linux 上运行(Screaming Frog 用户指南:General)。不依赖具体工具的通用审核方法,请看技术 SEO 审核。

做审核需要付费许可证吗?

一般小企业网站不需要。免费版每次最多抓取 500 个网址。许可证每位用户每年 £199;2026 年 11 月显示的美元价格为 $279。没有加元价格(Screaming Frog:价格页)。

审核任务免费付费
失效链接、错误和重定向有有
标题、元描述、meta robots(noindex)有有
完全重复的页面有有
超过 500 个网址无只受您的内存和硬盘限制
修改抓取设置,包括检查 XML 站点地图无有
JavaScript 渲染无有
近似重复的页面、结构化数据检查无有
Search Console、Analytics 和 PageSpeed 数据无有
保存抓取、对比抓取、定时抓取无有

如果免费版在 500 个网址处停下而您的页面还没抓完,Google Search Console 可以免费补上大部分:Google 眼中的索引情况、站点地图和服务器错误。请看用 Search Console 做技术 SEO 审核。

抓取前要改哪些设置

小网站通常一个都不用改。默认设置已经用 2 GB 内存把抓取数据存到硬盘,遵守您的 robots.txt(告诉爬虫哪些内容不要抓的文件),并且每次同时发送 5 个请求,“to not overload servers”(以免服务器过载)(用户指南:General 和 Configuration)。

设置默认什么时候改
存储和内存(File > Settings)数据库存储,2 GB 内存出现“running out of memory”(内存不足)警告时。指南建议抓取 200 万个网址以内用 4 GB
渲染(Configuration > Spider > Rendering)Text Only:只读取原始 HTML您的页面用 JavaScript 生成文字或链接,导致抓取结果中页面几乎是空的
robots.txt(Configuration > robots.txt)遵守 robots.txt您想看 robots.txt 屏蔽了什么。“Ignore robots.txt but report status”会抓取这些页面并照样标记出来
XML 站点地图(Configuration > Spider > Crawl)关闭您想用 Sitemaps 标签页:勾选“Crawl Linked XML Sitemaps”
Search Console(Configuration > API Access)关闭您想看每个页面在 Google 的索引状态:每个资源每天最多 2,000 个网址
抓取分析(Crawl Analysis > Configure)在那里勾选勾选“Auto Analyse At End of Crawl”,免得忘记

除非需要,否则不要开 JavaScript 渲染。如果您的文字能在页面源代码里看到,默认设置就够了;Google 指出,抓取 HTML 的方式“works well for classical websites or server-side rendered pages”(对传统网站或服务器端渲染的页面效果很好)(Google Search Central:JavaScript SEO 基础)。如果怀疑有问题,请看JavaScript SEO 审核。

运行抓取,并判断什么时候完成

输入首页地址,点 Start,等进度条到 100%。

然后运行 Crawl Analysis > Start。大多数标签页在抓取过程中就会填好,但有些筛选项要这一步之后才出现:站点地图筛选项、Link Score(0–100 的估算值,表示一个页面获得多少内部链接)和近似重复。还在等待的筛选项会显示“Crawl Analysis Required”(需要抓取分析)(用户指南:Configuration)。

怎么看 Issues 标签页

Issues 标签页是一份待办清单,不是对网站伤害程度的排名。它把发现分为问题(issues)、警告(warnings)和机会(opportunities),每项都标有 High、Medium 或 Low 优先级。Screaming Frog 自己也说,这些优先级来自通用的最佳做法:

"They are not hard rules for what should be prioritised in your SEO strategy, or must be 'fixed' in your SEO audit as they lack context." (Screaming Frog: SEO Spider issues) 译文:“它们并不是 SEO 策略中必须优先处理、或 SEO 审核中必须‘修复’的硬性规定,因为它们缺乏具体情境。”

点开每个问题,问自己:它影响的是能带来客户的页面吗?旧标签页缺少描述可以等;主要服务页上有 noindex 标签就不能等。

先修什么

按 Google 对每个问题的处理方式排序,而不是按它有多少行。

顺序问题在哪里找为什么重要
1重要页面被屏蔽或设为 noindexResponse Codes > Blocked by Robots.txt;Directives > NoindexGoogle 会把 noindex 页面从搜索结果中移除
2服务器错误(5xx)Response Codes > Server Error (5xx)抓取变慢;已编入索引的页面“eventually dropped”(最终会被移除)
3内部链接指向不存在的页面(4xx)Response Codes > Client Error (4xx);Bulk Export:指向 4xx 页面的内链Google 会把 4xx 页面移出索引
4重定向循环和过长的重定向链Response Codes > Redirect Loop、Redirect Chain;Reports > RedirectsGoogle 最多跟随 10 次跳转,然后放弃
5重要页面的规范网址指向别处,或没有规范网址Canonicals > Canonicalised、Missing您不指定时,Google 会自己选一个版本
6站点地图列出了无法编入索引的页面Sitemaps > Non-Indexable URLs in Sitemap(需许可证)Google 只把站点地图当作弱提示
7重要页面缺少标题或标题重复Page Titles > Missing、Duplicate该页面的搜索结果展示更弱;Screaming Frog 称唯一的标题“critical”(至关重要)
8元描述、alt 文本、多个 H1Meta Description;Images > Missing Alt Text;H1风险低;下次编辑重要页面时顺手修

第 1 到 6 行背后是 Google 自己的说法:

"For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler." (Google Search Central: Block search indexing with noindex) 译文:“要让 noindex 规则生效,该页面或资源不能被 robots.txt 文件屏蔽,而且必须能被爬虫正常访问。”

所以,想让页面消失,需要 noindex 而且不能被 robots.txt 屏蔽;想让页面被找到,两样都不能有。

"Google's crawlers follow up to 10 redirect hops." (Google Search Central: HTTP status codes and network errors) 译文:“Google 的爬虫最多跟随 10 次重定向跳转。”

两三次的重定向链还能用;下次改动时把它合并成一次跳转。循环永远到不了终点,所以现在就修。请看301 重定向问题。

"[I]f you don't specify a canonical URL, Google will identify which version of the URL is objectively the best version to show to users in Search." (Google Search Central: How to specify a canonical URL) 译文:“如果您不指定规范网址,Google 会判断该网址的哪个版本客观上最适合在搜索中展示给用户。”

关于元描述,Google 表示摘要“primarily”(主要)来自页面内容,只是有时才用描述(Google Search Central:摘要)。缺少元描述很少是急事。

把抓取结果变成修复清单

导出数据有三种方式(用户指南:General):

  • Export 按钮(左上角):保存您正在看的标签页和筛选结果。
  • Bulk Export:对于失效链接,导出链接到它的页面,也就是您要改的页面。
  • Reports:汇总报告,例如 Redirect Chains。导出可以直接发到 Google Sheets。

用一张表,五列:网址、问题、修法、谁来做、完成日期。面向客户的页面放最上面。修复上线后,切换到 List 模式,只粘贴这些地址再抓一次确认。之后在网站改版、插件变更或流量下降后,重新抓取整个网站;请看多久做一次 SEO 审核。

示例

以下为示意案例,数字为虚构。

一家 60 个页面的电工网站(美元)

免费版抓到 410 个网址。Issues 标签页显示 140 行。其中两项要紧:“Commercial wiring”(商业布线)页面带着建站时留下的 noindex,另有 9 个页面链接到一个已删除的优惠券页面。删掉标签、改好链接只花了一小时。工具费用:$0。

一家有 1,800 个网址的多伦多律师事务所(加元)

免费版抓到 500 就停了。事务所没有为一次审核买许可证,而是查看 Search Console 的网页索引报告,并用 List 模式只抓取 40 个业务领域页面。结果发现旧的“contact-us”地址有一个重定向循环。

一家每月复查的牙科集团

有了许可证,它在每月 1 日定时抓取,并与上个月对比。一次插件更新给博客加上了 noindex。下一次对比就发现了,比流量下降早了好几周。

常见问题

免费版够做技术 SEO 审核吗?

500 个网址以内,够用:错误、重定向、noindex、标题和完全重复的页面都能查。站点地图检查、JavaScript 渲染和 Search Console 数据需要许可证。

抓取自己的网站会让网站变慢吗?

很少。默认每次同时发 5 个请求。如果您的主机吃不消,有许可证就能把速度降到每秒一个网址。

Screaming Frog 能告诉我 Google 收录了哪些页面吗?

单靠它不行。有许可证并连接 Search Console 后,它每天可拉取 2,000 个网址在 Google 的索引状态。否则,请用 Search Console 的索引报告。

您的情况不同?

继续阅读

下一篇SE Ranking SEO 审核:30 分钟快速检查用 SE Ranking 网站审核,30 分钟整理出一份修复清单:先看什么、可以忽略什么、要花多少钱,以及免费的替代工具。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Screaming Frog: SEO Spider user guide, General
  2. Screaming Frog: SEO Spider user guide, Configuration
  3. Screaming Frog: SEO Spider user guide, Tabs
  4. Screaming Frog: SEO Spider issues
  5. Screaming Frog: SEO Spider pricing
  6. Google Search Central: How HTTP status codes and network errors affect Google Search
  7. Google Search Central: Block search indexing with noindex
  8. Google Search Central: How to specify a canonical URL
  9. Google Search Central: Control your snippets in search results
  10. Google Search Central: Understand the JavaScript SEO basics