用 Screaming Frog 做内容营销:做一次内容审核
简短回答 用 Screaming Frog 免费的 SEO Spider 爬取您的网站(最多 500 个网址),然后看 Content 标签页:Exact Duplicates 和 Low Content Pages 会列出重复页面和短页面。近似重复和 Search Console 数据需要每年 £199(US$279)的许可证。把每个标记当成一个问题,而不是结论:对客户有用的页面就修改,内容重叠的就合并,其余的删除。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话用 Screaming Frog 做内容审核能发现什么
它会列出您网站上的每个页面,以及每页的字数、代码指纹和标题。这足以找出三类薄弱页面。它无法判断页面有没有用;这要由您来判断。
| 问题 | 在哪里看 | 免费版可用? |
|---|---|---|
| 完全重复(同一页面有两个网址) | Content 标签页 > Exact Duplicates | 可以 |
| 短页面 | Content 标签页 > Low Content Pages(默认少于 200 词) | 可以 |
| 显示“找不到”却正常加载的页面 | Content 标签页 > Soft 404 Pages | 可以 |
| 遗留的占位文字 | Content 标签页 > Lorem Ipsum Placeholder | 可以 |
| 近似重复(90% 相同,例如各城镇页面) | Content 标签页 > Near Duplicates | 不行,需要许可证 |
| 每个页面的点击和访问量 | Search Console 和 GA4 标签页 | 不行,需要许可证 |
| 日期陈旧的页面 | 没有筛选条件;见下文 | 部分可以 |
免费版每次最多爬取 500 个网址。Screaming Frog 的用户指南说,许可证“removes the 500 URL crawl limit”(取消 500 个网址的爬取上限),并且“also provides access to the configuration”(还能使用配置功能,即各项设置),另外还有 Analytics 和 Search Console 集成。2026 年 11 月,许可证价格为每位用户每年 £199 或 US$279,没有列出加元价格(Screaming Frog:SEO Spider 价格页)。
您需要它吗?如果网站不到几百个页面,免费爬取加上免费的 Search Console 导出就足够做内容审核。如果您有很多可能近似重复的城镇或服务页面,或者网址超过 500 个,再买许可证。
内容审核怎么做:逐步操作
以下步骤依据 Screaming Frog 2026 年 11 月的用户指南。
- 安装 SEO Spider,从 Screaming Frog 官网下载(Windows、macOS 或 Linux)。
- 爬取。 在顶部输入框中输入您的首页网址,点击 Start。
- 打开 Content 标签页。 在右侧 Overview 窗格中依次点击各个筛选条件:Exact Duplicates、Low Content Pages、Soft 404 Pages。
- 仅限许可证:开启近似重复检测。 进入 Config > Content > Duplicates,勾选 Enable Near Duplicates,爬取,然后运行 Crawl Analysis > Start。底部的 Duplicate Details 标签页会显示每组匹配及其相似度。
- 导出。 在每个筛选条件上使用 Export,或用 Bulk Export > Content。关闭前先保存结果:免费用户无法保存并重新打开爬取。
- 加入流量数据。 免费:从 Search Console 的效果报告中导出 Pages 列表,按网址和您的表格对应起来。有许可证:Configuration > API Access > Google Search Console 可把点击、展示和排名直接拉进爬取结果(Search Console 入门)。
- 在一张表里给每个页面标上决定:保留、更新、合并、删除。
有两项设置会影响免费爬取的统计结果。字数默认不计菜单和页脚;重复检查只看 Google 可能编入索引的页面,所以已经用 canonical 标签(指明主版本的标签)指向原页面的副本不会显示。
单薄页面:“Low Content”到底是什么意思
它的意思是少于 200 词,而不是“不好”。Screaming Frog 称这个筛选条件是“a rough guide”(粗略参考),并说“isn't a minimum word count for pages in reality”(实际上页面并没有最低字数)。Google 也同意:
"The length of the content alone doesn't matter for ranking purposes" (Google Search Central: SEO Starter Guide) 译文:“仅凭内容的长度,对排名没有影响”
所以联系页、预约页或相册页可以很短,也没问题。如果客户进入一个页面后还得再去搜索,这个页面才算单薄。Google 把这一点列入了它的质量问题:
"Does your content leave readers feeling like they need to search again to get better information from other sources?" (Google Search Central: Creating helpful, reliable, people-first content) 译文:“您的内容是否让读者觉得还需要再次搜索,才能从其他来源获得更好的信息?”
逐个阅读被标记的页面,问自己:它有没有把一个客户问题回答好?如果没有,就补上客户需要的内容(价格、步骤、照片、包含哪些项目),并入一个更强的页面,或者删掉它。硬凑到 200 词解决不了任何问题。关于长度的更多内容:页面应该写多长。
重复页面:完全重复和近似重复
完全重复是同一页面有两个网址,常见的是末尾有没有斜杠,或者 http 和 https 两个版本。这属于技术问题:选定一个网址,把另一个 301 重定向(永久转到)到它,并且只链接主网址。Screaming Frog 的指南说,其他版本“should be 301 redirected to the canonical version”(应 301 重定向到规范版本)。
近似重复是默认相似度达到 90% 的页面,例如 30 个只换了城镇名的城镇页面。Google 的看法:
"Having duplicate content on your site is not a violation of our spam policies, but it can be a bad user experience" (Google Search Central: SEO Starter Guide) 译文:“网站上有重复内容并不违反我们的垃圾内容政策,但可能会带来不好的用户体验”
单纯有重复内容不会让您受罚。但主要为了排名而批量制作的页面,可能落入 Google 的“scaled content abuse”(规模化内容滥用)政策:“many pages are generated for the primary purpose of manipulating search rankings and not helping users”(大量页面的主要目的是操纵搜索排名,而不是帮助用户)(Google Search Central:垃圾内容政策)。在您有真实项目、照片或评价的城镇保留页面;其余的合并成一个服务区域页面。完整做法:重复内容。
过时页面:爬取看不出来的东西
Screaming Frog 不知道您是什么时候写的文章。找出旧页面有三种方法:
| 方法 | 费用 | 局限 |
|---|---|---|
| Internal 标签页中的 Last-Modified 列 | 免费 | 如果服务器不发送这个日期就是空的;显示的常常是最后一次代码改动,而不是最后一次真正的编辑 |
| 用 Custom Extraction(Config > Custom)抓取每篇文章上显示的日期 | 需要许可证 | 您必须指明网站在哪里显示日期 |
| Search Console:点击量比去年下降的页面 | 免费 | 显示的是下降,不是页面年龄 |
旧不是问题,错才是问题。检查正文中的价格、规定、员工、营业时间和年份。不要只改日期:Google 的质量问题中就问道:“Are you changing the date of pages to make them seem fresh when the content has not substantially changed?”(内容并没有实质变化时,您是否在修改页面日期,让它们显得很新?)要在更新和重写之间做选择,请看内容老化:更新、合并还是删除。
修改、合并还是删除:如何决定
| 这个页面…… | 这样做 |
|---|---|
| 有点击或回答了真实问题,但内容短或过时 | 在原网址上更新 |
| 和一个更强的页面讲同一个主题 | 把有用的部分并过去,然后 301 重定向到那里 |
| 没有点击、没有链接指向它、对客户也没用 | 删除,让它返回 404(找不到) |
| 是另一个网址上的完全重复 | 301 重定向到主网址 |
只要目标页面确实涵盖了旧页面的内容,合并后加重定向是安全的。Google 说,如果您“consolidated content previously hosted on multiple pages to a new single page, you can redirect the older URLs to that new, consolidated page”(把原先分布在多个页面上的内容合并到一个新页面,可以把旧网址重定向到这个合并后的新页面)(Google Search Central:网址变更的网站迁移)。不要把所有页面都重定向到首页;Google 说那样“might be treated as a soft 404 error”(可能被当作软 404 错误)。返回 404 的已删除页面会从 Google 索引中移除(Google Search Central:HTTP 状态码)。删减什么时候有用、什么时候没用:内容精简。
修改完成后,再爬取一次。被重定向的页面在 Response Codes 中应显示为 3xx,网站上也不应再有链接指向它们。
示例
以下是说明用的案例,数字为虚构。
一家牙科诊所的博客(美元)
340 个网址,所以免费爬取就够了。Low Content 标记出 22 篇少于 200 词的文章。Search Console 显示其中 15 篇一年内没有点击,并且和更长的文章内容重复;她把它们合并成四篇指南,并做了重定向。另外 7 篇各有少量点击;她补上了价格和常见问题。工具费用:$0。
一家有 60 个城镇页面的屋顶公司(加元)
Exact Duplicates 什么也没找到,因为每个页面写的城镇名都不同。他买了许可证(US$279;Screaming Frog 没有列出加元价格),并开启近似重复检测:52 个页面的相似度在 95% 或以上。他保留了 8 个有真实项目和照片的城镇页面,其余的合并成一个服务区域页面。
一家会计师网站上的旧税务文章
每个页面的 Last-Modified 都是空的。她把 Search Console 导出的数据按点击量排序,然后阅读排名前 30 的文章,找出过时的限额和截止日期,先更新这些文章。
常见问题
用 Screaming Frog 做内容审核免费吗?
是的,最多 500 个网址。完全重复、内容过少的页面、软 404 和字数统计都可以免费使用。近似重复、保存爬取,以及 Search Console 或 GA4 数据需要许可证。
多少字算内容单薄?
没有标准。Screaming Frog 的 200 词筛选只是一个可以修改的默认值,Google 也说它没有偏好的字数。要看页面有没有回答它要回答的问题。
多久做一次内容审核?
在流量下降时、网站改版后,或规划新内容之前做。小网站一年爬取一次基本就够了。
您的情况不同?
- 您找到了重复页面,需要决定保留哪个:重复内容。
- 页面流量在逐渐下降:内容老化:更新、合并还是删除。
- 您在考虑一次删减很多页面:内容精简。
- 您想把自己的页面和竞争对手的比较:Screaming Frog 竞争对手分析。
- 已删除的页面现在显示为 404 错误:Search Console 中的 404 错误。
- 您希望有人替您做审核和修改:SEO 与 GEO 智能体。