产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 做内容营销:做一次内容审核

更新于 · 阅读约 7 分钟

简短回答 用 Screaming Frog 免费的 SEO Spider 爬取您的网站(最多 500 个网址),然后看 Content 标签页:Exact Duplicates 和 Low Content Pages 会列出重复页面和短页面。近似重复和 Search Console 数据需要每年 £199(US$279)的许可证。把每个标记当成一个问题,而不是结论:对客户有用的页面就修改,内容重叠的就合并,其余的删除。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

用 Screaming Frog 做内容审核能发现什么

它会列出您网站上的每个页面,以及每页的字数、代码指纹和标题。这足以找出三类薄弱页面。它无法判断页面有没有用;这要由您来判断。

问题在哪里看免费版可用?
完全重复(同一页面有两个网址)Content 标签页 > Exact Duplicates可以
短页面Content 标签页 > Low Content Pages(默认少于 200 词)可以
显示“找不到”却正常加载的页面Content 标签页 > Soft 404 Pages可以
遗留的占位文字Content 标签页 > Lorem Ipsum Placeholder可以
近似重复(90% 相同,例如各城镇页面)Content 标签页 > Near Duplicates不行,需要许可证
每个页面的点击和访问量Search Console 和 GA4 标签页不行,需要许可证
日期陈旧的页面没有筛选条件;见下文部分可以

免费版每次最多爬取 500 个网址。Screaming Frog 的用户指南说,许可证“removes the 500 URL crawl limit”(取消 500 个网址的爬取上限),并且“also provides access to the configuration”(还能使用配置功能,即各项设置),另外还有 Analytics 和 Search Console 集成。2026 年 11 月,许可证价格为每位用户每年 £199 或 US$279,没有列出加元价格(Screaming Frog:SEO Spider 价格页)。

您需要它吗?如果网站不到几百个页面,免费爬取加上免费的 Search Console 导出就足够做内容审核。如果您有很多可能近似重复的城镇或服务页面,或者网址超过 500 个,再买许可证。

内容审核怎么做:逐步操作

以下步骤依据 Screaming Frog 2026 年 11 月的用户指南。

  1. 安装 SEO Spider,从 Screaming Frog 官网下载(Windows、macOS 或 Linux)。
  2. 爬取。 在顶部输入框中输入您的首页网址,点击 Start。
  3. 打开 Content 标签页。 在右侧 Overview 窗格中依次点击各个筛选条件:Exact Duplicates、Low Content Pages、Soft 404 Pages。
  4. 仅限许可证:开启近似重复检测。 进入 Config > Content > Duplicates,勾选 Enable Near Duplicates,爬取,然后运行 Crawl Analysis > Start。底部的 Duplicate Details 标签页会显示每组匹配及其相似度。
  5. 导出。 在每个筛选条件上使用 Export,或用 Bulk Export > Content。关闭前先保存结果:免费用户无法保存并重新打开爬取。
  6. 加入流量数据。 免费:从 Search Console 的效果报告中导出 Pages 列表,按网址和您的表格对应起来。有许可证:Configuration > API Access > Google Search Console 可把点击、展示和排名直接拉进爬取结果(Search Console 入门)。
  7. 在一张表里给每个页面标上决定:保留、更新、合并、删除。

有两项设置会影响免费爬取的统计结果。字数默认不计菜单和页脚;重复检查只看 Google 可能编入索引的页面,所以已经用 canonical 标签(指明主版本的标签)指向原页面的副本不会显示。

单薄页面:“Low Content”到底是什么意思

它的意思是少于 200 词,而不是“不好”。Screaming Frog 称这个筛选条件是“a rough guide”(粗略参考),并说“isn't a minimum word count for pages in reality”(实际上页面并没有最低字数)。Google 也同意:

"The length of the content alone doesn't matter for ranking purposes" (Google Search Central: SEO Starter Guide) 译文:“仅凭内容的长度,对排名没有影响”

所以联系页、预约页或相册页可以很短,也没问题。如果客户进入一个页面后还得再去搜索,这个页面才算单薄。Google 把这一点列入了它的质量问题:

"Does your content leave readers feeling like they need to search again to get better information from other sources?" (Google Search Central: Creating helpful, reliable, people-first content) 译文:“您的内容是否让读者觉得还需要再次搜索,才能从其他来源获得更好的信息?”

逐个阅读被标记的页面,问自己:它有没有把一个客户问题回答好?如果没有,就补上客户需要的内容(价格、步骤、照片、包含哪些项目),并入一个更强的页面,或者删掉它。硬凑到 200 词解决不了任何问题。关于长度的更多内容:页面应该写多长。

重复页面:完全重复和近似重复

完全重复是同一页面有两个网址,常见的是末尾有没有斜杠,或者 http 和 https 两个版本。这属于技术问题:选定一个网址,把另一个 301 重定向(永久转到)到它,并且只链接主网址。Screaming Frog 的指南说,其他版本“should be 301 redirected to the canonical version”(应 301 重定向到规范版本)。

近似重复是默认相似度达到 90% 的页面,例如 30 个只换了城镇名的城镇页面。Google 的看法:

"Having duplicate content on your site is not a violation of our spam policies, but it can be a bad user experience" (Google Search Central: SEO Starter Guide) 译文:“网站上有重复内容并不违反我们的垃圾内容政策,但可能会带来不好的用户体验”

单纯有重复内容不会让您受罚。但主要为了排名而批量制作的页面,可能落入 Google 的“scaled content abuse”(规模化内容滥用)政策:“many pages are generated for the primary purpose of manipulating search rankings and not helping users”(大量页面的主要目的是操纵搜索排名,而不是帮助用户)(Google Search Central:垃圾内容政策)。在您有真实项目、照片或评价的城镇保留页面;其余的合并成一个服务区域页面。完整做法:重复内容。

过时页面:爬取看不出来的东西

Screaming Frog 不知道您是什么时候写的文章。找出旧页面有三种方法:

方法费用局限
Internal 标签页中的 Last-Modified 列免费如果服务器不发送这个日期就是空的;显示的常常是最后一次代码改动,而不是最后一次真正的编辑
用 Custom Extraction(Config > Custom)抓取每篇文章上显示的日期需要许可证您必须指明网站在哪里显示日期
Search Console:点击量比去年下降的页面免费显示的是下降,不是页面年龄

旧不是问题,错才是问题。检查正文中的价格、规定、员工、营业时间和年份。不要只改日期:Google 的质量问题中就问道:“Are you changing the date of pages to make them seem fresh when the content has not substantially changed?”(内容并没有实质变化时,您是否在修改页面日期,让它们显得很新?)要在更新和重写之间做选择,请看内容老化:更新、合并还是删除。

修改、合并还是删除:如何决定

这个页面……这样做
有点击或回答了真实问题,但内容短或过时在原网址上更新
和一个更强的页面讲同一个主题把有用的部分并过去,然后 301 重定向到那里
没有点击、没有链接指向它、对客户也没用删除,让它返回 404(找不到)
是另一个网址上的完全重复301 重定向到主网址

只要目标页面确实涵盖了旧页面的内容,合并后加重定向是安全的。Google 说,如果您“consolidated content previously hosted on multiple pages to a new single page, you can redirect the older URLs to that new, consolidated page”(把原先分布在多个页面上的内容合并到一个新页面,可以把旧网址重定向到这个合并后的新页面)(Google Search Central:网址变更的网站迁移)。不要把所有页面都重定向到首页;Google 说那样“might be treated as a soft 404 error”(可能被当作软 404 错误)。返回 404 的已删除页面会从 Google 索引中移除(Google Search Central:HTTP 状态码)。删减什么时候有用、什么时候没用:内容精简。

修改完成后,再爬取一次。被重定向的页面在 Response Codes 中应显示为 3xx,网站上也不应再有链接指向它们。

示例

以下是说明用的案例,数字为虚构。

一家牙科诊所的博客(美元)

340 个网址,所以免费爬取就够了。Low Content 标记出 22 篇少于 200 词的文章。Search Console 显示其中 15 篇一年内没有点击,并且和更长的文章内容重复;她把它们合并成四篇指南,并做了重定向。另外 7 篇各有少量点击;她补上了价格和常见问题。工具费用:$0。

一家有 60 个城镇页面的屋顶公司(加元)

Exact Duplicates 什么也没找到,因为每个页面写的城镇名都不同。他买了许可证(US$279;Screaming Frog 没有列出加元价格),并开启近似重复检测:52 个页面的相似度在 95% 或以上。他保留了 8 个有真实项目和照片的城镇页面,其余的合并成一个服务区域页面。

一家会计师网站上的旧税务文章

每个页面的 Last-Modified 都是空的。她把 Search Console 导出的数据按点击量排序,然后阅读排名前 30 的文章,找出过时的限额和截止日期,先更新这些文章。

常见问题

用 Screaming Frog 做内容审核免费吗?

是的,最多 500 个网址。完全重复、内容过少的页面、软 404 和字数统计都可以免费使用。近似重复、保存爬取,以及 Search Console 或 GA4 数据需要许可证。

多少字算内容单薄?

没有标准。Screaming Frog 的 200 词筛选只是一个可以修改的默认值,Google 也说它没有偏好的字数。要看页面有没有回答它要回答的问题。

多久做一次内容审核?

在流量下降时、网站改版后,或规划新内容之前做。小网站一年爬取一次基本就够了。

您的情况不同?

继续阅读

下一篇用 Google Search Console 规划内容:找出缺口用 Google Search Console 规划内容:找出点击下滑的文章,从您自己的搜索数据里发现新主题,并揪出两个页面争抢同一个搜索。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Screaming Frog: SEO Spider user guide, General
  2. Screaming Frog: SEO Spider pricing
  3. Screaming Frog: SEO Spider user guide, Tabs
  4. Screaming Frog: SEO Spider user guide, Configuration
  5. Screaming Frog: How to check for duplicate content
  6. Google Search Central: SEO Starter Guide
  7. Google Search Central: Creating helpful, reliable, people-first content
  8. Google Search Central: Spam policies for Google web search
  9. Google Search Central: Redirects and Google Search
  10. Google Search Central: Site moves with URL changes
  11. Google Search Central: HTTP status codes and network errors