用 Screaming Frog 做链接回收:找回指向失效页面的链接
简短回答 从 Google Search Console 导出被链接最多的页面,贴进 Screaming Frog 的 List 模式,筛选 4xx 错误。每个有其他网站链接、但现在返回 404 的页面,都是一个可以找回的链接:恢复该页面,或把它 301 重定向到最接近的有效页面。免费版最多检查 500 个网址。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话见效最快:指向您失效页面的链接
链接回收,就是从您已经赢得的链接中把价值拿回来。最大、最容易的情况是:您网站上有个页面被其他网站链接,但现在返回 404(找不到页面)。访客点进来看到的是错误页,链接指向的是空白。
问题出在您这边,所以不需要任何人许可:
| 步骤 | 您要做什么 | 工具 |
|---|---|---|
| 1. 列出 | 导出您网站上被其他网站链接的页面 | Google Search Console(免费) |
| 2. 检查 | 找出其中哪些页面现在返回 404 | Screaming Frog List 模式 |
| 3. 修复 | 恢复页面,或 301 重定向到最接近的有效页面 | 您的建站平台 |
| 4. 确认 | 复查每个修好的网址都能打开正常页面 | Screaming Frog List 模式 |
301 重定向是把旧网址永久转到新网址。Google 把这种情况明确列为使用它的理由:
"You removed a page and you want to send users to a new page." (Google Search Central: Redirects and Google Search) 译文:“您删除了一个页面,想把用户转到新页面。”
为什么常规爬取发现不了失效的反向链接
Screaming Frog 的 SEO Spider 是一个爬虫:它从您的首页开始,沿着您自己网站上的链接爬。反向链接在别人的网站上,所以常规爬取永远看不到。如果您删了一个页面,也删了自己菜单里指向它的链接,爬取就完全找不到这个页面,哪怕还有 20 个其他网站在链接它。
所以您得把其他网站链接的网址交给 Screaming Frog。这正是 List 模式的用途。
第 1 步:从 Search Console 导出被链接的页面
Search Console 的“链接”报告会显示您的哪些页面被其他网站链接。依次进入“链接”、“外部链接”、“最常链接的网页”,点击“更多”查看完整列表,然后导出。
Google 提醒这份列表包含已失效的目标,而这正是您这里要找的:
"The report includes links that Google has found over time. These links may have since been removed, or a page may no longer exist." (Search Console Help: Links report) 译文:“该报告包含 Google 长期以来发现的链接。这些链接可能已被移除,或者页面可能已不存在。”
注意限制。表格最多 1,000 行,而且报告“shows a sample”(显示的是样本),并非全部链接(Search Console Help: Links report)。
想要第二份列表?Ahrefs 的免费方案(原 Ahrefs Webmaster Tools)会显示您已验证网站的反向链接,“up to 1000 backlinks at once”(一次最多 1000 条反向链接)(Ahrefs: Webmaster Tools)。合并两份列表并去重。
第 2 步:用 Screaming Frog 的 List 模式检查列表
每个网址前面都要加上 `https://`,否则 Screaming Frog 读不了(Screaming Frog: How to use list mode)。然后:
- 点击 Mode > List。地址栏会变成 Upload 按钮。
- 点击 Upload,贴入列表或加载文件。
- 按 Start。List 模式会把爬取深度设为 0,所以“only the URLs you upload in list mode will be crawled”(只爬取您在 List 模式中上传的网址)(Screaming Frog: How to use list mode)。
- 打开 Response Codes 标签,选择 Client Error (4xx) 筛选。它涵盖“404 Page Not Found, 410 Removed”等错误(Screaming Frog 使用指南:Tabs)。
- 导出筛选后的列表。这就是您的回收清单。
也看看 Redirection (3xx) 筛选。已经重定向的页面,只有最终落在正常页面上才算没问题。有授权的话,可以打开 Config > Spider > Advanced > Always Follow Redirects,让 Screaming Frog 跟随每一跳直到最终网址(Screaming Frog 使用指南:Configuration)。重定向链和循环,请看 301 重定向问题。
第 3 步:逐个恢复或重定向失效页面
每个页面三选一。Google 对缺失页面的指导定下了规则:
| 页面发生了什么 | 怎么做 |
|---|---|
| 误删,或仍然有用 | 在原网址恢复 |
| 已移动、改名,或被类似页面取代 | 把旧网址 301 重定向到新页面 |
| 已删除,网站上没有类似内容 | 保持 404(或 410) |
"If your page has moved or has a clear replacement on your site, return a 301 (permanent redirect) to redirect the user." (Google Search Central: Troubleshoot crawling errors) 译文:“如果您的页面已移动,或在您的网站上有明确的替代页面,请返回 301(永久重定向)来转移用户。”
"If you removed the page and there's no replacement page on your site with similar content, return a 404 (not found) or 410 (gone) response." (Google Search Central: Troubleshoot crawling errors) 译文:“如果您删除了该页面,且网站上没有内容相似的替代页面,请返回 404(找不到)或 410(已删除)响应。”
不要把所有失效页面都转到首页;重定向应该落在能兑现链接网站所承诺内容的地方。在各个建站平台上设置 301 的方法,请看 301 重定向与 SEO。
先处理 Search Console 导出中链接网站最多的页面。一个重定向就能一次找回很多链接。
第 4 步:也修好您自己的失效链接
同一个工具也能修内部问题,也就是您自己页面之间的链接。运行一次常规爬取(Spider 模式:输入首页,按 Start),然后:
- Response Codes 标签,Client Error (4xx) 筛选。
- 点击一个失效网址,再点底部的 Inlinks 标签。“From”是包含失效链接的页面;“To”是失效网址(Screaming Frog: Broken link checker)。
- 要一份列出每个失效链接及其位置的电子表格,使用 Bulk Export > Response Codes > Client Error (4XX) Inlinks(Screaming Frog: Broken link checker)。
把每个链接改成指向正确页面。即使您也加了重定向,直接链接能省掉一跳。
失效的页内跳转链接(指向页面某个位置的链接,如 `/services#pricing`)不会返回 404,所以这个筛选查不到。打开 Config > Spider > Advanced > Crawl Fragment Identifiers,然后查看 URL 标签的 Broken Bookmark 筛选(Screaming Frog: Broken link checker)。这个设置需要授权。
第 5 步:确认修复结果
把同一批失效网址再上传到 List 模式。每个现在都应该返回 200(正常页面),或返回最终落到 200 的 301。用 Search Console 的网址检查工具抽查几个,Google 建议用它来确认“whether your URL is actually returning the correct code”(您的网址是否真的返回了正确的状态码)(Google Search Central: Troubleshoot crawling errors)。
Screaming Frog 需要付费吗?
做这件事通常不用。免费版“up to 500 URLs at a time”(每次最多爬取 500 个网址)(Screaming Frog 使用指南:General),而且 Screaming Frog 的价格页没有把 List 模式列为付费功能。
| 版本(2026 年 11 月) | 价格 | 对链接回收的作用 |
|---|---|---|
| 免费 | £0 | List 模式最多检查 500 个网址;完整爬取网站找内部失效链接,最多 500 个页面 |
| 付费授权 | 每位用户每年 £199 | 无 500 上限,可改爬取设置(跟随重定向、片段标识符),自定义搜索,保存爬取,连接 Search Console 和反向链接工具 |
价格页把 Crawl Configuration、Save & Open Crawls、Custom Search & Extraction 和 Search Console Integration 标为仅限付费。授权“last 1 year”(有效期 1 年),按用户计费(Screaming Frog 价格页)。价格页可切换显示其他货币;请查看您适用的价格。
很小的网站有免费替代办法:在浏览器里逐个打开 Search Console 导出中的网址,或用网址检查工具测试。慢,但 20 个页面完全够用。
被删除的链接怎么办?
对方网站删掉的链接更难处理:只有网站主人能放回去。Search Console 的“最新链接”导出会列出链接到您的页面(最多 100,000 行)(Search Console Help: Links report)。有授权的话,把这些页面上传到 List 模式,再加一个设为“does not contain”(不包含)您域名的自定义搜索筛选;最多可设 100 个此类筛选,查找“contain”(包含)或“does not contain”(不包含)某个词组的页面(Screaming Frog 使用指南:Configuration)。不再提到您域名的页面,就可以发一封简短、礼貌的邮件。很多删除是有意为之,所以别指望能找回多少。设置提醒,请看反向链接监控。
示例
网站改版后的屋顶承包商
新网站给 30 个服务页面改了名,却没做重定向。Search Console 的“最常链接的网页”列出 85 个页面;List 模式显示其中 12 个返回 404,这 12 个页面带有来自 40 个网站的链接。他给改名后的页面加了 11 个重定向,留下一个已停止服务的页面保持 404。花费:£0,约 2 小时。
有 2,000 页博客的牙科诊所
内部爬取超过 500 个页面,所以办公室经理花 £199 买了授权。爬取发现旧文章中有 140 个失效内部链接;批量导出给出了每个需要修改的页面。300 个被链接页面的反向链接检查,免费版就够了。
常见问题
Screaming Frog 能找出谁链接了我的网站吗?
单靠它不行;它只检查您提供给它的页面。从 Search Console 导出链接,或连接 Ahrefs,后者需要 Ahrefs 付费方案(Screaming Frog 使用指南:Configuration)。
301 重定向能找回链接的全部价值吗?
没有保证。Google 把永久重定向视为在搜索结果中显示新页面的信号(Google Search Central: Redirects and Google Search)。
多久检查一次失效的被链接页面?
每次改版、页面改名或删除之后都查,平时每隔几个月查一次。很少改动的网站很少产生新的 404。
404 错误会伤害整个网站吗?
Google 会把 404 页面从索引中移除,并减少抓取;损失在于指向它们的链接(Google Search Central: How HTTP status codes affect Google's crawlers)。请看 Search Console 中的 404 错误。
您的情况不同?
- 旧页面在新网站上没有类似内容。 让它们保持 404,并给访客一个有用的自定义 404 页面。
- 您即将给页面改名或更换平台。 上线前规划好重定向;请看更改网址 slug 和网站。
- 有人提到您的商家但没加链接。 那是另一项工作;请看 AI 搜索中的品牌提及。
- 您更希望由别人来做检查和修复。 请看 SEO。