产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 分析竞争对手:写给老板的分步指南

更新于 · 阅读约 8 分钟

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

抓取竞争对手网站能看到什么,看不到什么

能看到网站是怎么搭建的,看不到它的表现。Screaming Frog 的 SEO Spider 是一款抓取工具:一个桌面程序,像 Google 自己的爬虫一样顺着网站上的链接走,列出它到达的每个网址。

能看到看不到
通过链接能到达的每个页面,以及它们所在的文件夹(/services/、/locations/)网站上没有任何链接指向的页面
每个页面的标题、元描述(搜索结果下方的那段摘要)和标题标签每个页面有多少访客
字数,以及网站自身有多少链接指向每个页面对方在哪些搜索中有排名,排第几
失效链接、重定向,以及没有 alt 文本(对图片的文字描述)的图片哪些其他网站链接到对方(没有链接数据插件时)
对方的 Google 商家资料(Google Business Profile)、评价或广告

流量是大家最容易忽略的盲区。这个工具可以导入 Search Console 和 Analytics 的数据,但按其用户指南的说法,只能通过连接“a Google account (which has access to the Search Console account you wish to query)”(一个能访问您要查询的 Search Console 账户的 Google 账户)。竞争对手的数据是保密的。

在本地搜索中,网站只是竞争的一部分:

"Local results are mainly based on relevance, distance, and popularity." (Google Business Profile Help: Tips to improve your local ranking on Google) 译文:“本地结果主要取决于相关性、距离和知名度。”

在 Google 地图上胜过您的对手,可能只是评价更多,或者离搜索者更近。这些抓取都看不出来;请看如何在 Google 地图上排名更靠前。

免费还是付费:需要买许可证吗?

如果只是一次性看看几个小竞争对手,不需要。免费版每次抓取最多 500 个网址。付费方面:

"For £199 a year you can buy a licence, which removes the 500 URL crawl limit." (Screaming Frog SEO Spider user guide: General) 译文:“每年 £199 即可购买许可证,取消 500 个网址的抓取上限。”
免费付费许可证
价格$0每位用户每年 £199;2026 年 11 月显示的美元价格为 $279
每次抓取的页面数500只受您电脑的内存和硬盘限制
标题、描述、标题标签、失效链接、重定向、完全重复的页面有有
修改设置(跳过图片、限制深度、放慢抓取)无有
保存抓取、重新打开、对比两次抓取无有
定时抓取无有
自定义提取(抓取任意元素,例如价格)无有
Search Console、Analytics、PageSpeed 和反向链接数据无有;Search Console 和 Analytics 仅限您能打开的账户

Screaming Frog 的价格页列出美元、英镑和欧元价格,没有加元价格。许可证有效期一年,限一人使用。

常见的建议是抓取前取消勾选图片、CSS 和 JavaScript,但这对免费用户不适用:用户指南说,许可证“also provides access to the configuration”(还提供配置功能的使用权限)。

只有在对手有几千个页面、而您需要完整抓取,或者您要定期重新抓取时,才值得买。如果只想粗略列出对手的页面,在 Google 搜索“site:theirsite.com”就行,免费,不过 Google 表示这个列表“is not always exhaustive”(并不总是完整的)(Google Search Central: site: search operator)。

如何一步步抓取竞争对手的网站

以下步骤依据 2026 年 11 月 Screaming Frog 的用户指南,使用免费版。

  1. 选两三个对手。 在 Google 搜索您的主要服务加上您所在的城镇。地图下方常规结果里的网站,才是抓取能让您学到东西的对象。跳过 Yelp 这类目录网站,选和您类似的商家。
  2. 安装。 从 Screaming Frog 网站下载 SEO Spider。它支持 Windows、macOS 和 Linux(Ubuntu 和 Fedora),需要“a 64-bit OS with at least 4gb of RAM available”(64 位操作系统,至少有 4GB 可用内存)。
  3. 先抓取您自己的网站。 在顶部的地址框输入您的首页地址,点 Start。这是您的基准。
  4. 导出。 左上角的 Export 按钮会把当前查看的标签页存成电子表格。请在下一次抓取前导出:保存和重新打开抓取需要许可证。
  5. 抓取对手网站。 输入对方的首页地址,点 Start。默认情况下,工具会遵守网站的 robots.txt(告诉爬虫哪些内容不要抓取的文件),并以 5 个线程(并行请求)运行,“to not overload servers”(以免让服务器超负荷)。
  6. 留意响应代码。 如果出现大量 403(禁止访问)或 429(请求过多)代码,说明对方网站在拒绝或限制这个爬虫。到此为止。有许可证的话,可以在 Configuration > Speed 里把速度降到每秒一个页面。
  7. 只需要某一部分? 从 /services/ 这样的文件夹开始,在顶部的切换器里选 Subfolder。前提是这个文件夹的主页面链接到了里面的各个页面。也可以切换到 List 模式,粘贴确切的网址。

该看哪些标签页,它们告诉您什么

每个视图都可以变成一个关于您自己网站的问题。

标签页(筛选条件)看什么对您有什么启示
Internal (HTML)每个页面及其所在的文件夹对方有、您没有的服务、城镇或常见问题页面
Page Titles对方的格式:服务、城镇、品牌名您该怎么写自己的标题。Google 认为好的标题应“unique to the page, clear and concise”(每个页面独有,清楚简洁)
Meta Description优惠、价格、点击的理由对方在访客进站前承诺了什么
H1 和 H2一个服务页面怎么分段:费用、流程、保修、常见问题您的页面也应该回答的问题
Internal: Inlinks 和 Crawl Depth网站内部链接最多的页面;离首页要点很多次的页面对方最重点推的是哪些页面,您的页面是否藏得太深
Response Codes (Client Error 4xx) 和 Images (Missing Alt Text)失效页面和没有描述的图片在您自己的抓取结果里做同样的检查

根据 Google 的《SEO 入门指南》,有三件事看起来重要,其实大多不重要:

把抓取结果变成待办清单

先修好自己的问题,再补真正的空缺:

  1. 您自己的错误。 您抓取结果中的失效链接和缺失标题,是最便宜的修复。右侧的 Issues 标签页按优先级列出了它们。
  2. 您提供却从没介绍过的服务。 如果对手有专门的疏通下水道页面,而您只是列了一下,就用您自己的价格、照片和流程写一个页面。
  3. 指向赚钱页面的链接。 如果对方的核心服务页面从首页点一次就到,而您的要点三次,就把您的放进菜单。
  4. 别学对方的城镇页面农场。 抓取常会发现几十个几乎一样的页面,每个城镇一个。请看服务区域的城市页面。
  5. 定个日期再看一次。 当对手开始超过您时,或者每隔几个月,重新抓取一次。有许可证的话,定时抓取和抓取对比会帮您完成。

Google 的两条规则决定了能借鉴到什么程度。它的质量自查问题之一是:

"If the content draws on other sources, does it avoid simply copying or rewriting those sources, and instead provide substantial additional value and originality?" (Google Search Central: Creating helpful, reliable, people-first content) 译文:“如果内容借鉴了其他来源,是否避免了简单地复制或改写这些来源,而是提供了大量额外价值和原创性?”

它的垃圾内容政策还把以下行为列为门页滥用:“Having multiple domain names or pages targeted at specific regions or cities that funnel users to one page”(拥有多个针对特定地区或城市的域名或页面,把用户引向同一个页面)(Google Search Central: Spam policies for Google web search)。

抓取回答不了的问题,用免费工具:

问题免费工具
哪些搜索会显示我的网站?Google Search Console,仅限您自己的网站(指南)
客户会输入哪些词?Search Console、搜索自动补全和 Keyword Planner(指南)
对方的页面对真实访客来说更快吗?Google 的 PageSpeed Insights:页面访问量足够时,显示过去 28 天真实用户的体验(指南)
谁链接到了对方?Ahrefs、Majestic 或 Moz 这类链接数据库,大多收费;请看本地商家的反向链接

示例

以下是说明用的案例,数字为虚构。

屋顶承包商和排名第一的对手(美元)

对手网站有 180 个网址,免费抓取就能覆盖。Internal 标签页显示,对方有金属屋顶、风暴损坏、保险理赔和分期付款等页面;这位屋顶承包商只有一个“服务”页面。计划:写四个页面,用他自己的价格和施工照片,每个都放进菜单。工具费用:$0。

卡尔加里的一家物理治疗诊所(加元)

对手有 2,400 个网址,大部分是博客文章,所以从首页开始的免费抓取在 500 处停止。老板没有买许可证,而是从对手的 /services/ 文件夹开始抓取,拿到了全部 40 个服务页面。其中三项是她提供却从没写过介绍的疗法。

面对 70 个城镇页面的园林绿化商

对手的每个城镇页面文字都一样,只换了城镇名。他没有照抄,而是为五个他确实有实际项目、照片和评价的城镇做了页面。

常见问题

Screaming Frog 免费吗?

免费,每次抓取最多 500 个网址。许可证(每位用户每年 £199 或 US$279,2026 年 11 月)会增加设置、保存抓取、定时抓取和数据集成功能。

竞争对手会知道我抓取了他们的网站吗?

有可能。默认情况下,它在每次请求中自称“Screaming Frog SEO Spider”,并遵守对方的 robots.txt;这个名字可能出现在对方的服务器记录里。

Screaming Frog 能显示竞争对手的关键词、流量或反向链接吗?

单靠它不行。它只能读取您能打开的 Search Console 和 Analytics 账户。反向链接需要许可证,再加一个 Ahrefs、Majestic 或 Moz 账户。

您的情况不同?

继续阅读

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Screaming Frog: SEO Spider pricing
  2. Screaming Frog: SEO Spider user guide, General
  3. Screaming Frog: SEO Spider user guide, Configuration
  4. Screaming Frog: SEO Spider user guide, Tabs
  5. Google Search Central: SEO Starter Guide
  6. Google Search Central: Creating helpful, reliable, people-first content
  7. Google Search Central: Spam policies for Google web search
  8. Google Search Central: site: search operator
  9. Google Business Profile Help: Tips to improve your local ranking on Google
  10. PageSpeed Insights: About PageSpeed Insights