用 Screaming Frog 做失效链接建设:找出可替换的失效链接
简短回答 收集链接到很多网站的页面,例如本地资源列表。把它们粘贴到 Screaming Frog 的列表模式中,取消爬取深度限制,并只检查外部链接。每个 4xx 或 No Response 链接,都是您的页面可能填补的空缺。这样设置需要每年 $279 的授权;免费版一次可以检查一个页面。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话一张表看懂方法
您不是爬取自己的网站,而是爬取别人那些对外链接很多的页面,找出其中的失效链接。资源页就是列出实用链接的页面:商会的会员名录、市政府的“社区资源”页、行业协会的“找专业人士”页。商家会倒闭、会搬迁,所以这类列表里积累了很多失效链接。
| 步骤 | 您要做什么 | 在 Screaming Frog 中的位置(2026 年 11 月) |
|---|---|---|
| 1. 收集 | 找 20–200 个您所在城镇或行业的资源页 | 工具之外:Google 搜索 |
| 2. 设置 | 只检查这些页面上的外部链接 | Mode > List;Configuration > Spider > Limits 和 > Crawl |
| 3. 爬取 | 粘贴列表并运行 | Upload > Paste |
| 4. 查看 | 找出 4xx 和 No Response 链接,以及各自在哪个页面上 | Response Codes 选项卡;Inlinks;Bulk Export |
| 5. 挑选并联系 | 只留下您的页面确实能替换的失效链接 | 一张电子表格和您的邮箱 |
第 2 到第 4 步依照 Screaming Frog 自己的失效链接建设教程。这个方法背后的道理、如何重建失效页面以及联系邮件怎么写,见失效链接建设分步指南。本页只讲爬虫的设置。
需要付费授权吗?
用列表模式的方法,需要。Screaming Frog 的价格表把“Crawl Configuration”标为仅付费版可用,它的常见问题也说,没有授权时“crawls can't be saved, and advanced features and the configuration are restricted”(爬取结果无法保存,高级功能和设置也受到限制)。这个方法要改两项设置。
| 免费版 | 付费授权 | |
|---|---|---|
| 价格 | $0 | 每位用户每年 $279(美元价格),或 £199 |
| 每次爬取的网址数 | 500 | 没有固定上限;取决于您电脑的内存和存储空间 |
| 列表模式并取消深度限制 | 不可以(需要改设置) | 可以 |
| 检查一个资源页的外部链接 | 可以,用默认设置即可 | 可以 |
价格来自 Screaming Frog 2026 年 11 月的价格页。页面显示美元、英镑和欧元价格,没有加元价格。一份授权有效期一年,供一人使用。
如果您只检查十几个页面一次,免费版就够了。如果要检查一百个页面,或每个季度重复做一次,授权能省下好几天。
第 1 步:整理一份资源页列表
在 Google 上搜索您所在地区或行业中对外链接的页面。`site:` 运算符把结果限定在一个域名或后缀内;Google 说它会请求“results from the particular domain, URL, or URL prefix specified”(来自指定域名、网址或网址前缀的结果)。
容易找到资源页的搜索:
- `"[your city]" "community resources"`
- `"[your trade]" "recommended contractors"` 或 `"preferred vendors"`
- `"[your city]" chamber "member directory"`
- `site:.gov "[your county]" "helpful links"`
- `site:.edu "[your trade]" resources`
把 [your city]、[your trade]、[your county] 换成您的城市、行业和县(用英文搜索)。只留下读者可能成为您客户的页面。房主协会的供应商列表对屋顶承包商有用;全国性的“100 个最佳工具”列表通常没用。把每个页面的完整网址粘贴到电子表格里,每行一个。
第 2 步:设置列表模式,只检查外部链接
Screaming Frog 的教程用到四项设置。以下菜单名称以 2026 年 11 月为准。
- 切换到列表模式。 Mode > List。列表模式只爬取您给它的网址。
- 取消深度限制。 列表模式教程说,在列表模式下“The 'Limit Crawl Depth' configuration is automatically enabled and set to '0'”(“Limit Crawl Depth”设置会自动开启并设为“0”),因此您页面上的链接根本不会被检查。在 Configuration > Spider > Limits 下取消勾选。
- 只检查外部链接。 在 Configuration > Spider > Crawl 下,保留 External Links 的勾选,取消其他所有页面链接和资源类型(内部链接、图片、CSS、JavaScript)。否则爬虫会钻进每个网站自己的页面。
- 粘贴并运行。 Upload > Paste,然后等它跑到 100%。
可选:在 Configuration > Speed 下放慢爬取速度。默认是同时发出 5 个请求,小型协会网站有时会因此屏蔽爬虫。
免费版:一次一个页面
保持 Spider 模式,输入一个资源页的网址。默认设置会检查外部链接的响应代码。爬虫只在您起始的文件夹内爬取,所以从 `chamber.org/resources/` 开始,只覆盖这个栏目,不会爬整个网站。大型网站可能还没出有用结果就碰到 500 个网址的上限;尽量从网站更深的位置开始。
第 3 步:查看结果
您要找的目标在两个筛选条件里。
- Response Codes > Client Error (4xx)。 大多是 404,即找不到页面。点击其中一条,再点底部的 Inlinks 选项卡,就能看到它在您的哪个资源页上。
- Response Codes > No Response。 Screaming Frog 对它的定义是“the URL does not send a response”(该网址没有返回响应)。通常是整个域名已经过期,例如商家已经倒闭。这些往往是最好的目标。
想在电子表格里处理,用 Bulk Export > All External Links。按照教程,来源页面在 B 列,失效的目标网址在 C 列;在状态列中筛选 4xx。
联系之前,先排除误报:
| 代码 | 通常代表什么 | 怎么处理 |
|---|---|---|
| 403 | 按 Screaming Frog 常见问题的说法,网站的安全设置拒绝了爬虫 | 用浏览器打开;通常能正常访问 |
| 429 | 爬虫发出“too many HTTP requests”(过多 HTTP 请求),速度太快 | 放慢爬取速度后重新检查 |
| 301 然后 404 | 链接重定向到一个失效页面 | 勾选“Always follow redirects”后重新爬取这些目标网址 |
| 404 | 页面已不存在 | 自己点开确认 |
Screaming Frog 的教程建议先清掉社交媒体和登录链接;它们会重定向或拒绝爬虫,浪费时间。
第 4 步:挑出值得争取的失效链接
只留下您的页面能真正替代的链接。按以下几点给候选名单排序,越靠前越重要:
- 客户相同。 资源页服务于您的地区或行业。
- 能直接替换。 失效链接原来指向一家和您类似的商家,或者一篇您已经有、或能写出来的指南。
- 页面仍有人维护。 有最近的日期,或其他链接都能正常打开,说明还有人在管理。
- 多个页面有同一个失效链接。 一个替代页面可以同时推荐给所有这些页面。
第 5 步:替换并联系
写信给页面的编辑:写明是哪个页面、哪个失效链接,并把您的页面作为一个可选替代。不要为链接提供任何回报。Google 的垃圾内容政策把“Exchanging money for links, or posts that contain links”(用金钱交换链接或含链接的文章)和“Exchanging goods or services for links”(用商品或服务交换链接)列为链接垃圾。如何用 Wayback Machine 重建失效页面,以及美国和加拿大的邮件规定,见失效链接建设分步指南。要批量写联系邮件,请看AI 外联。
在电子表格里记录每次联系:已发送、已回复、已替换。一个月后,重新爬取成功的页面,确认您的链接仍在。
示例
以下为示意案例,数字为编造。
用免费版的水管工(美元)
他找到 12 个本地资源页,用 Spider 模式逐个爬取。其中 3 个链接到一家已经倒闭的水管公司,其域名显示 No Response。他给这三个页面都发了邮件,附上自己的服务页。两个页面替换了链接。成本:$0 和一个晚上。
检查 150 个页面的记账师(加元)
她买了授权,因为没有加元价格,按 $279 美元收费。她用列表模式检查了安大略省 150 个小企业资源页,找到 40 个失效链接。去掉在浏览器中能正常打开的 403 之后,有 11 个指向已失效的税务指南,她可以用自己的指南替代。她联系了 11 位编辑。
碰到上限的园林绿化商
他所在城市的公园网站有几千个页面。从首页开始,免费版爬到 500 个网址就停了,没有任何有用结果。改从“community gardens resources”文件夹重新开始,爬取顺利完成,找到两个失效的苗圃链接。
常见问题
Screaming Frog 能找出谁链接到了另一个网站上的失效页面吗?
不能。它只检查您给它的页面上的链接。要找出所有链接到某个失效页面的网站,需要 Ahrefs 或 Semrush 这类反向链接数据库。
爬取别人的网站会惹麻烦吗?
这很正常,只要温和一点。Screaming Frog 说它的爬虫“is robots.txt compliant”(遵守 robots.txt),所以会服从网站的爬取规则。放慢速度可以避免触发安全防护。
为什么爬取结果中有些失效链接在我的浏览器里能打开?
是网站拒绝了爬虫(403)或限制了它的请求频率(429),不是拒绝您。联系之前把每个链接都点开看看。
做失效链接建设,免费版够用吗?
只检查几个本地页面,够用。要用列表模式检查很多页面,不够:这需要只有授权才能开启的设置。
您的情况不同?
- 您想了解完整方法、Ahrefs 做法和邮件规定:失效链接建设分步指南。
- 您刚开始用 Screaming Frog:写给企业主的 Screaming Frog 指南。
- 从合作伙伴和供应商那里拿链接更容易:本地商家的反向链接。
- 您需要帮忙写大量联系邮件:AI 外联。
- 您希望有人替您找目标、发邮件:SEO 与 GEO 智能体。