产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 做失效链接建设:找出可替换的失效链接

更新于 · 阅读约 7 分钟

简短回答 收集链接到很多网站的页面,例如本地资源列表。把它们粘贴到 Screaming Frog 的列表模式中,取消爬取深度限制,并只检查外部链接。每个 4xx 或 No Response 链接,都是您的页面可能填补的空缺。这样设置需要每年 $279 的授权;免费版一次可以检查一个页面。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

一张表看懂方法

您不是爬取自己的网站,而是爬取别人那些对外链接很多的页面,找出其中的失效链接。资源页就是列出实用链接的页面:商会的会员名录、市政府的“社区资源”页、行业协会的“找专业人士”页。商家会倒闭、会搬迁,所以这类列表里积累了很多失效链接。

步骤您要做什么在 Screaming Frog 中的位置(2026 年 11 月)
1. 收集找 20–200 个您所在城镇或行业的资源页工具之外:Google 搜索
2. 设置只检查这些页面上的外部链接Mode > List;Configuration > Spider > Limits 和 > Crawl
3. 爬取粘贴列表并运行Upload > Paste
4. 查看找出 4xx 和 No Response 链接,以及各自在哪个页面上Response Codes 选项卡;Inlinks;Bulk Export
5. 挑选并联系只留下您的页面确实能替换的失效链接一张电子表格和您的邮箱

第 2 到第 4 步依照 Screaming Frog 自己的失效链接建设教程。这个方法背后的道理、如何重建失效页面以及联系邮件怎么写,见失效链接建设分步指南。本页只讲爬虫的设置。

需要付费授权吗?

用列表模式的方法,需要。Screaming Frog 的价格表把“Crawl Configuration”标为仅付费版可用,它的常见问题也说,没有授权时“crawls can't be saved, and advanced features and the configuration are restricted”(爬取结果无法保存,高级功能和设置也受到限制)。这个方法要改两项设置。

免费版付费授权
价格$0每位用户每年 $279(美元价格),或 £199
每次爬取的网址数500没有固定上限;取决于您电脑的内存和存储空间
列表模式并取消深度限制不可以(需要改设置)可以
检查一个资源页的外部链接可以,用默认设置即可可以

价格来自 Screaming Frog 2026 年 11 月的价格页。页面显示美元、英镑和欧元价格,没有加元价格。一份授权有效期一年,供一人使用。

如果您只检查十几个页面一次,免费版就够了。如果要检查一百个页面,或每个季度重复做一次,授权能省下好几天。

第 1 步:整理一份资源页列表

在 Google 上搜索您所在地区或行业中对外链接的页面。`site:` 运算符把结果限定在一个域名或后缀内;Google 说它会请求“results from the particular domain, URL, or URL prefix specified”(来自指定域名、网址或网址前缀的结果)。

容易找到资源页的搜索:

  • `"[your city]" "community resources"`
  • `"[your trade]" "recommended contractors"` 或 `"preferred vendors"`
  • `"[your city]" chamber "member directory"`
  • `site:.gov "[your county]" "helpful links"`
  • `site:.edu "[your trade]" resources`

把 [your city]、[your trade]、[your county] 换成您的城市、行业和县(用英文搜索)。只留下读者可能成为您客户的页面。房主协会的供应商列表对屋顶承包商有用;全国性的“100 个最佳工具”列表通常没用。把每个页面的完整网址粘贴到电子表格里,每行一个。

Screaming Frog 的教程用到四项设置。以下菜单名称以 2026 年 11 月为准。

  1. 切换到列表模式。 Mode > List。列表模式只爬取您给它的网址。
  2. 取消深度限制。 列表模式教程说,在列表模式下“The 'Limit Crawl Depth' configuration is automatically enabled and set to '0'”(“Limit Crawl Depth”设置会自动开启并设为“0”),因此您页面上的链接根本不会被检查。在 Configuration > Spider > Limits 下取消勾选。
  3. 只检查外部链接。 在 Configuration > Spider > Crawl 下,保留 External Links 的勾选,取消其他所有页面链接和资源类型(内部链接、图片、CSS、JavaScript)。否则爬虫会钻进每个网站自己的页面。
  4. 粘贴并运行。 Upload > Paste,然后等它跑到 100%。

可选:在 Configuration > Speed 下放慢爬取速度。默认是同时发出 5 个请求,小型协会网站有时会因此屏蔽爬虫。

免费版:一次一个页面

保持 Spider 模式,输入一个资源页的网址。默认设置会检查外部链接的响应代码。爬虫只在您起始的文件夹内爬取,所以从 `chamber.org/resources/` 开始,只覆盖这个栏目,不会爬整个网站。大型网站可能还没出有用结果就碰到 500 个网址的上限;尽量从网站更深的位置开始。

第 3 步:查看结果

您要找的目标在两个筛选条件里。

  • Response Codes > Client Error (4xx)。 大多是 404,即找不到页面。点击其中一条,再点底部的 Inlinks 选项卡,就能看到它在您的哪个资源页上。
  • Response Codes > No Response。 Screaming Frog 对它的定义是“the URL does not send a response”(该网址没有返回响应)。通常是整个域名已经过期,例如商家已经倒闭。这些往往是最好的目标。

想在电子表格里处理,用 Bulk Export > All External Links。按照教程,来源页面在 B 列,失效的目标网址在 C 列;在状态列中筛选 4xx。

联系之前,先排除误报:

代码通常代表什么怎么处理
403按 Screaming Frog 常见问题的说法,网站的安全设置拒绝了爬虫用浏览器打开;通常能正常访问
429爬虫发出“too many HTTP requests”(过多 HTTP 请求),速度太快放慢爬取速度后重新检查
301 然后 404链接重定向到一个失效页面勾选“Always follow redirects”后重新爬取这些目标网址
404页面已不存在自己点开确认

Screaming Frog 的教程建议先清掉社交媒体和登录链接;它们会重定向或拒绝爬虫,浪费时间。

只留下您的页面能真正替代的链接。按以下几点给候选名单排序,越靠前越重要:

  1. 客户相同。 资源页服务于您的地区或行业。
  2. 能直接替换。 失效链接原来指向一家和您类似的商家,或者一篇您已经有、或能写出来的指南。
  3. 页面仍有人维护。 有最近的日期,或其他链接都能正常打开,说明还有人在管理。
  4. 多个页面有同一个失效链接。 一个替代页面可以同时推荐给所有这些页面。

第 5 步:替换并联系

写信给页面的编辑:写明是哪个页面、哪个失效链接,并把您的页面作为一个可选替代。不要为链接提供任何回报。Google 的垃圾内容政策把“Exchanging money for links, or posts that contain links”(用金钱交换链接或含链接的文章)和“Exchanging goods or services for links”(用商品或服务交换链接)列为链接垃圾。如何用 Wayback Machine 重建失效页面,以及美国和加拿大的邮件规定,见失效链接建设分步指南。要批量写联系邮件,请看AI 外联。

在电子表格里记录每次联系:已发送、已回复、已替换。一个月后,重新爬取成功的页面,确认您的链接仍在。

示例

以下为示意案例,数字为编造。

用免费版的水管工(美元)

他找到 12 个本地资源页,用 Spider 模式逐个爬取。其中 3 个链接到一家已经倒闭的水管公司,其域名显示 No Response。他给这三个页面都发了邮件,附上自己的服务页。两个页面替换了链接。成本:$0 和一个晚上。

检查 150 个页面的记账师(加元)

她买了授权,因为没有加元价格,按 $279 美元收费。她用列表模式检查了安大略省 150 个小企业资源页,找到 40 个失效链接。去掉在浏览器中能正常打开的 403 之后,有 11 个指向已失效的税务指南,她可以用自己的指南替代。她联系了 11 位编辑。

碰到上限的园林绿化商

他所在城市的公园网站有几千个页面。从首页开始,免费版爬到 500 个网址就停了,没有任何有用结果。改从“community gardens resources”文件夹重新开始,爬取顺利完成,找到两个失效的苗圃链接。

常见问题

Screaming Frog 能找出谁链接到了另一个网站上的失效页面吗?

不能。它只检查您给它的页面上的链接。要找出所有链接到某个失效页面的网站,需要 Ahrefs 或 Semrush 这类反向链接数据库。

爬取别人的网站会惹麻烦吗?

这很正常,只要温和一点。Screaming Frog 说它的爬虫“is robots.txt compliant”(遵守 robots.txt),所以会服从网站的爬取规则。放慢速度可以避免触发安全防护。

为什么爬取结果中有些失效链接在我的浏览器里能打开?

是网站拒绝了爬虫(403)或限制了它的请求频率(429),不是拒绝您。联系之前把每个链接都点开看看。

做失效链接建设,免费版够用吗?

只检查几个本地页面,够用。要用列表模式检查很多页面,不够:这需要只有授权才能开启的设置。

您的情况不同?

继续阅读

下一篇用 Google Analytics 追踪内部链接点击GA4 不统计您网站内部页面之间的链接点击。两种免费方法看清访客用了哪些内部链接,以及据此该改什么。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Screaming Frog: Broken link building using the SEO Spider
  2. Screaming Frog: How to use list mode
  3. Screaming Frog: SEO Spider user guide, Configuration
  4. Screaming Frog: SEO Spider user guide, General
  5. Screaming Frog: SEO Spider user guide, Tabs
  6. Screaming Frog: SEO Spider FAQ
  7. Screaming Frog: SEO Spider pricing (US dollars)
  8. Screaming Frog: SEO Spider pricing (pounds)
  9. Google Search Central: site: search operator
  10. Google Search Central: Spam policies for Google web search