抓取竞争对手网站能看到什么,看不到什么
能看到网站是怎么搭建的,看不到它的表现。Screaming Frog 的 SEO Spider 是一款抓取工具:一个桌面程序,像 Google 自己的爬虫一样顺着网站上的链接走,列出它到达的每个网址。
| 能看到 | 看不到 |
|---|---|
| 通过链接能到达的每个页面,以及它们所在的文件夹(/services/、/locations/) | 网站上没有任何链接指向的页面 |
| 每个页面的标题、元描述(搜索结果下方的那段摘要)和标题标签 | 每个页面有多少访客 |
| 字数,以及网站自身有多少链接指向每个页面 | 对方在哪些搜索中有排名,排第几 |
| 失效链接、重定向,以及没有 alt 文本(对图片的文字描述)的图片 | 哪些其他网站链接到对方(没有链接数据插件时) |
| 对方的 Google 商家资料(Google Business Profile)、评价或广告 |
流量是大家最容易忽略的盲区。这个工具可以导入 Search Console 和 Analytics 的数据,但按其用户指南的说法,只能通过连接“a Google account (which has access to the Search Console account you wish to query)”(一个能访问您要查询的 Search Console 账户的 Google 账户)。竞争对手的数据是保密的。
在本地搜索中,网站只是竞争的一部分:
"Local results are mainly based on relevance, distance, and popularity." (Google Business Profile Help: Tips to improve your local ranking on Google) 译文:“本地结果主要取决于相关性、距离和知名度。”
在 Google 地图上胜过您的对手,可能只是评价更多,或者离搜索者更近。这些抓取都看不出来;请看如何在 Google 地图上排名更靠前。
免费还是付费:需要买许可证吗?
如果只是一次性看看几个小竞争对手,不需要。免费版每次抓取最多 500 个网址。付费方面:
"For £199 a year you can buy a licence, which removes the 500 URL crawl limit." (Screaming Frog SEO Spider user guide: General) 译文:“每年 £199 即可购买许可证,取消 500 个网址的抓取上限。”
| 免费 | 付费许可证 | |
|---|---|---|
| 价格 | $0 | 每位用户每年 £199;2026 年 11 月显示的美元价格为 $279 |
| 每次抓取的页面数 | 500 | 只受您电脑的内存和硬盘限制 |
| 标题、描述、标题标签、失效链接、重定向、完全重复的页面 | 有 | 有 |
| 修改设置(跳过图片、限制深度、放慢抓取) | 无 | 有 |
| 保存抓取、重新打开、对比两次抓取 | 无 | 有 |
| 定时抓取 | 无 | 有 |
| 自定义提取(抓取任意元素,例如价格) | 无 | 有 |
| Search Console、Analytics、PageSpeed 和反向链接数据 | 无 | 有;Search Console 和 Analytics 仅限您能打开的账户 |
Screaming Frog 的价格页列出美元、英镑和欧元价格,没有加元价格。许可证有效期一年,限一人使用。
常见的建议是抓取前取消勾选图片、CSS 和 JavaScript,但这对免费用户不适用:用户指南说,许可证“also provides access to the configuration”(还提供配置功能的使用权限)。
只有在对手有几千个页面、而您需要完整抓取,或者您要定期重新抓取时,才值得买。如果只想粗略列出对手的页面,在 Google 搜索“site:theirsite.com”就行,免费,不过 Google 表示这个列表“is not always exhaustive”(并不总是完整的)(Google Search Central: site: search operator)。
如何一步步抓取竞争对手的网站
以下步骤依据 2026 年 11 月 Screaming Frog 的用户指南,使用免费版。
- 选两三个对手。 在 Google 搜索您的主要服务加上您所在的城镇。地图下方常规结果里的网站,才是抓取能让您学到东西的对象。跳过 Yelp 这类目录网站,选和您类似的商家。
- 安装。 从 Screaming Frog 网站下载 SEO Spider。它支持 Windows、macOS 和 Linux(Ubuntu 和 Fedora),需要“a 64-bit OS with at least 4gb of RAM available”(64 位操作系统,至少有 4GB 可用内存)。
- 先抓取您自己的网站。 在顶部的地址框输入您的首页地址,点 Start。这是您的基准。
- 导出。 左上角的 Export 按钮会把当前查看的标签页存成电子表格。请在下一次抓取前导出:保存和重新打开抓取需要许可证。
- 抓取对手网站。 输入对方的首页地址,点 Start。默认情况下,工具会遵守网站的 robots.txt(告诉爬虫哪些内容不要抓取的文件),并以 5 个线程(并行请求)运行,“to not overload servers”(以免让服务器超负荷)。
- 留意响应代码。 如果出现大量 403(禁止访问)或 429(请求过多)代码,说明对方网站在拒绝或限制这个爬虫。到此为止。有许可证的话,可以在 Configuration > Speed 里把速度降到每秒一个页面。
- 只需要某一部分? 从 /services/ 这样的文件夹开始,在顶部的切换器里选 Subfolder。前提是这个文件夹的主页面链接到了里面的各个页面。也可以切换到 List 模式,粘贴确切的网址。
该看哪些标签页,它们告诉您什么
每个视图都可以变成一个关于您自己网站的问题。
| 标签页(筛选条件) | 看什么 | 对您有什么启示 |
|---|---|---|
| Internal (HTML) | 每个页面及其所在的文件夹 | 对方有、您没有的服务、城镇或常见问题页面 |
| Page Titles | 对方的格式:服务、城镇、品牌名 | 您该怎么写自己的标题。Google 认为好的标题应“unique to the page, clear and concise”(每个页面独有,清楚简洁) |
| Meta Description | 优惠、价格、点击的理由 | 对方在访客进站前承诺了什么 |
| H1 和 H2 | 一个服务页面怎么分段:费用、流程、保修、常见问题 | 您的页面也应该回答的问题 |
| Internal: Inlinks 和 Crawl Depth | 网站内部链接最多的页面;离首页要点很多次的页面 | 对方最重点推的是哪些页面,您的页面是否藏得太深 |
| Response Codes (Client Error 4xx) 和 Images (Missing Alt Text) | 失效页面和没有描述的图片 | 在您自己的抓取结果里做同样的检查 |
根据 Google 的《SEO 入门指南》,有三件事看起来重要,其实大多不重要:
- 字数。 “The length of the content alone doesn't matter for ranking purposes.”(单靠内容长度对排名没有影响。)对手的页面更长,并不是您要超过的目标。
- 标题标签的数量和顺序。 顺序有助于屏幕阅读器,但“from Google Search perspective, it doesn't matter if you're using them out of order.”(从 Google 搜索的角度看,顺序乱了也没关系。)Screaming Frog 会标出有多个 H1 的页面,但它自己的指南也说这“not strictly an issue”(严格来说不算问题)。
- 网址里的关键词。 域名或网址路径里的关键词“alone have hardly any effect beyond appearing in breadcrumbs”(除了出现在面包屑导航中,本身几乎没有作用)。
把抓取结果变成待办清单
先修好自己的问题,再补真正的空缺:
- 您自己的错误。 您抓取结果中的失效链接和缺失标题,是最便宜的修复。右侧的 Issues 标签页按优先级列出了它们。
- 您提供却从没介绍过的服务。 如果对手有专门的疏通下水道页面,而您只是列了一下,就用您自己的价格、照片和流程写一个页面。
- 指向赚钱页面的链接。 如果对方的核心服务页面从首页点一次就到,而您的要点三次,就把您的放进菜单。
- 别学对方的城镇页面农场。 抓取常会发现几十个几乎一样的页面,每个城镇一个。请看服务区域的城市页面。
- 定个日期再看一次。 当对手开始超过您时,或者每隔几个月,重新抓取一次。有许可证的话,定时抓取和抓取对比会帮您完成。
Google 的两条规则决定了能借鉴到什么程度。它的质量自查问题之一是:
"If the content draws on other sources, does it avoid simply copying or rewriting those sources, and instead provide substantial additional value and originality?" (Google Search Central: Creating helpful, reliable, people-first content) 译文:“如果内容借鉴了其他来源,是否避免了简单地复制或改写这些来源,而是提供了大量额外价值和原创性?”
它的垃圾内容政策还把以下行为列为门页滥用:“Having multiple domain names or pages targeted at specific regions or cities that funnel users to one page”(拥有多个针对特定地区或城市的域名或页面,把用户引向同一个页面)(Google Search Central: Spam policies for Google web search)。
抓取回答不了的问题,用免费工具:
| 问题 | 免费工具 |
|---|---|
| 哪些搜索会显示我的网站? | Google Search Console,仅限您自己的网站(指南) |
| 客户会输入哪些词? | Search Console、搜索自动补全和 Keyword Planner(指南) |
| 对方的页面对真实访客来说更快吗? | Google 的 PageSpeed Insights:页面访问量足够时,显示过去 28 天真实用户的体验(指南) |
| 谁链接到了对方? | Ahrefs、Majestic 或 Moz 这类链接数据库,大多收费;请看本地商家的反向链接 |
示例
以下是说明用的案例,数字为虚构。
屋顶承包商和排名第一的对手(美元)
对手网站有 180 个网址,免费抓取就能覆盖。Internal 标签页显示,对方有金属屋顶、风暴损坏、保险理赔和分期付款等页面;这位屋顶承包商只有一个“服务”页面。计划:写四个页面,用他自己的价格和施工照片,每个都放进菜单。工具费用:$0。
卡尔加里的一家物理治疗诊所(加元)
对手有 2,400 个网址,大部分是博客文章,所以从首页开始的免费抓取在 500 处停止。老板没有买许可证,而是从对手的 /services/ 文件夹开始抓取,拿到了全部 40 个服务页面。其中三项是她提供却从没写过介绍的疗法。
面对 70 个城镇页面的园林绿化商
对手的每个城镇页面文字都一样,只换了城镇名。他没有照抄,而是为五个他确实有实际项目、照片和评价的城镇做了页面。
常见问题
Screaming Frog 免费吗?
免费,每次抓取最多 500 个网址。许可证(每位用户每年 £199 或 US$279,2026 年 11 月)会增加设置、保存抓取、定时抓取和数据集成功能。
竞争对手会知道我抓取了他们的网站吗?
有可能。默认情况下,它在每次请求中自称“Screaming Frog SEO Spider”,并遵守对方的 robots.txt;这个名字可能出现在对方的服务器记录里。
Screaming Frog 能显示竞争对手的关键词、流量或反向链接吗?
单靠它不行。它只能读取您能打开的 Search Console 和 Analytics 账户。反向链接需要许可证,再加一个 Ahrefs、Majestic 或 Moz 账户。
您的情况不同?
- 您想知道客户搜什么:本地商家的关键词研究。
- 您正在写服务页面:服务页面的页面内 SEO。
- 对手为每个城镇都做了页面:服务区域的城市页面。
- 您想要像对方那样的链接:本地商家的反向链接。
- 对手赢在地图上,而不是网站上:如何在 Google 地图上排名更靠前。
- 您希望有人替您做对比和修复:SEO 与 GEO 智能体。