用 Screaming Frog 做技术 SEO 审核:分步指南
简短回答 安装 SEO Spider,输入您的首页地址,点 Start。小网站用默认设置就行;免费版可抓取 500 个网址。抓取完成后,打开 Issues 标签页,再按 Google 对每个问题的处理方式排序:先修被屏蔽或设为 noindex 的重要页面,然后是服务器错误、失效链接、重定向循环和规范网址。alt 文本放最后。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话用 Screaming Frog 做技术 SEO 审核:步骤
抓取、查看、排序、修复、复查。Screaming Frog 的 SEO Spider 是一款桌面抓取工具:它像 Google 的爬虫一样顺着您网站上的每个链接走,记录每个地址返回的结果。以下步骤依据其 2026 年 11 月的用户指南。
| 步骤 | 在 Screaming Frog 的哪里 | 免费版可用? |
|---|---|---|
| 1. 安装并输入您的首页地址 | “Enter URL to spider”输入框,然后点 Start | 可以 |
| 2. 只在网站确实需要时才改设置 | Configuration 菜单;File > Settings | 大多数设置需要许可证 |
| 3. 抓取结束后运行抓取分析 | Crawl Analysis > Start | 可以,限您能用的筛选项 |
| 4. 打开 Issues 标签页 | 右侧窗格 | 可以 |
| 5. 按 Google 对问题的处理方式排序 | 下文的表格 | 由您判断 |
| 6. 导出修复清单 | Export 按钮、Bulk Export、Reports | 可以 |
| 7. 重新抓取已修复的页面 | List 模式:粘贴这些地址 | 可以 |
该软件需要 64 位电脑、至少 4 GB 内存,可在 Windows、macOS 和 Linux 上运行(Screaming Frog 用户指南:General)。不依赖具体工具的通用审核方法,请看技术 SEO 审核。
做审核需要付费许可证吗?
一般小企业网站不需要。免费版每次最多抓取 500 个网址。许可证每位用户每年 £199;2026 年 11 月显示的美元价格为 $279。没有加元价格(Screaming Frog:价格页)。
| 审核任务 | 免费 | 付费 |
|---|---|---|
| 失效链接、错误和重定向 | 有 | 有 |
| 标题、元描述、meta robots(noindex) | 有 | 有 |
| 完全重复的页面 | 有 | 有 |
| 超过 500 个网址 | 无 | 只受您的内存和硬盘限制 |
| 修改抓取设置,包括检查 XML 站点地图 | 无 | 有 |
| JavaScript 渲染 | 无 | 有 |
| 近似重复的页面、结构化数据检查 | 无 | 有 |
| Search Console、Analytics 和 PageSpeed 数据 | 无 | 有 |
| 保存抓取、对比抓取、定时抓取 | 无 | 有 |
如果免费版在 500 个网址处停下而您的页面还没抓完,Google Search Console 可以免费补上大部分:Google 眼中的索引情况、站点地图和服务器错误。请看用 Search Console 做技术 SEO 审核。
抓取前要改哪些设置
小网站通常一个都不用改。默认设置已经用 2 GB 内存把抓取数据存到硬盘,遵守您的 robots.txt(告诉爬虫哪些内容不要抓的文件),并且每次同时发送 5 个请求,“to not overload servers”(以免服务器过载)(用户指南:General 和 Configuration)。
| 设置 | 默认 | 什么时候改 |
|---|---|---|
| 存储和内存(File > Settings) | 数据库存储,2 GB 内存 | 出现“running out of memory”(内存不足)警告时。指南建议抓取 200 万个网址以内用 4 GB |
| 渲染(Configuration > Spider > Rendering) | Text Only:只读取原始 HTML | 您的页面用 JavaScript 生成文字或链接,导致抓取结果中页面几乎是空的 |
| robots.txt(Configuration > robots.txt) | 遵守 robots.txt | 您想看 robots.txt 屏蔽了什么。“Ignore robots.txt but report status”会抓取这些页面并照样标记出来 |
| XML 站点地图(Configuration > Spider > Crawl) | 关闭 | 您想用 Sitemaps 标签页:勾选“Crawl Linked XML Sitemaps” |
| Search Console(Configuration > API Access) | 关闭 | 您想看每个页面在 Google 的索引状态:每个资源每天最多 2,000 个网址 |
| 抓取分析(Crawl Analysis > Configure) | 在那里勾选 | 勾选“Auto Analyse At End of Crawl”,免得忘记 |
除非需要,否则不要开 JavaScript 渲染。如果您的文字能在页面源代码里看到,默认设置就够了;Google 指出,抓取 HTML 的方式“works well for classical websites or server-side rendered pages”(对传统网站或服务器端渲染的页面效果很好)(Google Search Central:JavaScript SEO 基础)。如果怀疑有问题,请看JavaScript SEO 审核。
运行抓取,并判断什么时候完成
输入首页地址,点 Start,等进度条到 100%。
然后运行 Crawl Analysis > Start。大多数标签页在抓取过程中就会填好,但有些筛选项要这一步之后才出现:站点地图筛选项、Link Score(0–100 的估算值,表示一个页面获得多少内部链接)和近似重复。还在等待的筛选项会显示“Crawl Analysis Required”(需要抓取分析)(用户指南:Configuration)。
怎么看 Issues 标签页
Issues 标签页是一份待办清单,不是对网站伤害程度的排名。它把发现分为问题(issues)、警告(warnings)和机会(opportunities),每项都标有 High、Medium 或 Low 优先级。Screaming Frog 自己也说,这些优先级来自通用的最佳做法:
"They are not hard rules for what should be prioritised in your SEO strategy, or must be 'fixed' in your SEO audit as they lack context." (Screaming Frog: SEO Spider issues) 译文:“它们并不是 SEO 策略中必须优先处理、或 SEO 审核中必须‘修复’的硬性规定,因为它们缺乏具体情境。”
点开每个问题,问自己:它影响的是能带来客户的页面吗?旧标签页缺少描述可以等;主要服务页上有 noindex 标签就不能等。
先修什么
按 Google 对每个问题的处理方式排序,而不是按它有多少行。
| 顺序 | 问题 | 在哪里找 | 为什么重要 |
|---|---|---|---|
| 1 | 重要页面被屏蔽或设为 noindex | Response Codes > Blocked by Robots.txt;Directives > Noindex | Google 会把 noindex 页面从搜索结果中移除 |
| 2 | 服务器错误(5xx) | Response Codes > Server Error (5xx) | 抓取变慢;已编入索引的页面“eventually dropped”(最终会被移除) |
| 3 | 内部链接指向不存在的页面(4xx) | Response Codes > Client Error (4xx);Bulk Export:指向 4xx 页面的内链 | Google 会把 4xx 页面移出索引 |
| 4 | 重定向循环和过长的重定向链 | Response Codes > Redirect Loop、Redirect Chain;Reports > Redirects | Google 最多跟随 10 次跳转,然后放弃 |
| 5 | 重要页面的规范网址指向别处,或没有规范网址 | Canonicals > Canonicalised、Missing | 您不指定时,Google 会自己选一个版本 |
| 6 | 站点地图列出了无法编入索引的页面 | Sitemaps > Non-Indexable URLs in Sitemap(需许可证) | Google 只把站点地图当作弱提示 |
| 7 | 重要页面缺少标题或标题重复 | Page Titles > Missing、Duplicate | 该页面的搜索结果展示更弱;Screaming Frog 称唯一的标题“critical”(至关重要) |
| 8 | 元描述、alt 文本、多个 H1 | Meta Description;Images > Missing Alt Text;H1 | 风险低;下次编辑重要页面时顺手修 |
第 1 到 6 行背后是 Google 自己的说法:
"For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler." (Google Search Central: Block search indexing with noindex) 译文:“要让 noindex 规则生效,该页面或资源不能被 robots.txt 文件屏蔽,而且必须能被爬虫正常访问。”
所以,想让页面消失,需要 noindex 而且不能被 robots.txt 屏蔽;想让页面被找到,两样都不能有。
"Google's crawlers follow up to 10 redirect hops." (Google Search Central: HTTP status codes and network errors) 译文:“Google 的爬虫最多跟随 10 次重定向跳转。”
两三次的重定向链还能用;下次改动时把它合并成一次跳转。循环永远到不了终点,所以现在就修。请看301 重定向问题。
"[I]f you don't specify a canonical URL, Google will identify which version of the URL is objectively the best version to show to users in Search." (Google Search Central: How to specify a canonical URL) 译文:“如果您不指定规范网址,Google 会判断该网址的哪个版本客观上最适合在搜索中展示给用户。”
关于元描述,Google 表示摘要“primarily”(主要)来自页面内容,只是有时才用描述(Google Search Central:摘要)。缺少元描述很少是急事。
把抓取结果变成修复清单
导出数据有三种方式(用户指南:General):
- Export 按钮(左上角):保存您正在看的标签页和筛选结果。
- Bulk Export:对于失效链接,导出链接到它的页面,也就是您要改的页面。
- Reports:汇总报告,例如 Redirect Chains。导出可以直接发到 Google Sheets。
用一张表,五列:网址、问题、修法、谁来做、完成日期。面向客户的页面放最上面。修复上线后,切换到 List 模式,只粘贴这些地址再抓一次确认。之后在网站改版、插件变更或流量下降后,重新抓取整个网站;请看多久做一次 SEO 审核。
示例
以下为示意案例,数字为虚构。
一家 60 个页面的电工网站(美元)
免费版抓到 410 个网址。Issues 标签页显示 140 行。其中两项要紧:“Commercial wiring”(商业布线)页面带着建站时留下的 noindex,另有 9 个页面链接到一个已删除的优惠券页面。删掉标签、改好链接只花了一小时。工具费用:$0。
一家有 1,800 个网址的多伦多律师事务所(加元)
免费版抓到 500 就停了。事务所没有为一次审核买许可证,而是查看 Search Console 的网页索引报告,并用 List 模式只抓取 40 个业务领域页面。结果发现旧的“contact-us”地址有一个重定向循环。
一家每月复查的牙科集团
有了许可证,它在每月 1 日定时抓取,并与上个月对比。一次插件更新给博客加上了 noindex。下一次对比就发现了,比流量下降早了好几周。
常见问题
免费版够做技术 SEO 审核吗?
500 个网址以内,够用:错误、重定向、noindex、标题和完全重复的页面都能查。站点地图检查、JavaScript 渲染和 Search Console 数据需要许可证。
抓取自己的网站会让网站变慢吗?
很少。默认每次同时发 5 个请求。如果您的主机吃不消,有许可证就能把速度降到每秒一个网址。
Screaming Frog 能告诉我 Google 收录了哪些页面吗?
单靠它不行。有许可证并连接 Search Console 后,它每天可拉取 2,000 个网址在 Google 的索引状态。否则,请用 Search Console 的索引报告。
您的情况不同?
- 您想要不用抓取工具的审核方法:用 Search Console 做技术 SEO 审核。
- 您需要完整的审核顺序,包括速度和移动端:技术 SEO 审核。
- 抓取结果显示页面是空的:JavaScript SEO 审核。
- 您要抓取的是竞争对手,而不是自己的网站:用 Screaming Frog 分析竞争对手。
- Search Console 说页面未被编入索引:已抓取或已发现,但尚未编入索引。
- 您希望有人替您看抓取结果并完成修复:SEO 与 GEO 智能体。