产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 做关键词研究:理清每个页面的关键词

更新于 · 阅读约 6 分钟

简短回答 Screaming Frog 不会帮您找新关键词,也不显示搜索量。它是一个爬虫工具:列出网站上的每个页面,以及它们的标题和标题标签。所以它很适合做一件事——关键词地图:哪个页面瞄准哪个搜索,哪两个页面在抢同一个搜索,哪些服务还没有页面。搜索量从关键词规划师(Keyword Planner)获取,真实搜索词从 Search Console 获取。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

Screaming Frog 在关键词上能做什么,不能做什么

它读取您的页面,但不知道人们搜索什么。Screaming Frog 的 SEO Spider 是一个爬虫工具:一个桌面程序,顺着网站上的每个链接走,记录每个页面。它没有关键词数据库,没有搜索量,也没有排名。

所以把工作分给三个免费工具:

问题工具费用
每个页面现在瞄准哪个关键词?Screaming Frog(标题、H1、H2)500 个网址以内免费
一个词有多少人搜索?Google 关键词规划师(Keyword Planner)免费,但需要一个填写了付款信息的 Google Ads 账户(Google Ads: Keyword Planner)
哪些搜索已经会显示我的页面?Google Search Console 的效果报告免费

关键词规划师提供“estimates of the searches they receive and the cost to target them”(关键词的搜索量估算以及投放它们的费用),而要使用它,您“must enter your billing information and complete your account setup”(必须填写付款信息并完成账户设置)(Google Ads Help: Use Keyword Planner)。Search Console 帮您“learn which queries are bringing traffic to your site”(了解哪些搜索词在为您的网站带来流量)(Search Console Help: Performance report)。

免费版还是付费授权:您需要什么

为小网站做关键词地图,免费版就够了。它最多爬取 500 个网址,并显示页面标题和元数据(Screaming Frog: SEO Spider pricing)。付费授权每年 £199,取消这个上限(user guide: General)。

功能免费付费授权
每个页面的标题、元描述、H1 和 H2有有
导出到电子表格有有
自定义搜索(Custom Search,找出包含或不包含某个词组的页面)无有
在每个页面旁显示 Search Console 数据无有
语义相似度(找出讲同一件事的页面)无有
保存爬取结果并重新打开无有

根据定价页面,自定义搜索、Search Console 集成和语义相似度仅限付费授权。

如何一步步做出关键词地图

  1. 爬取。 安装 SEO Spider(Windows、macOS 或 Ubuntu),在“Enter URL to spider”中输入您的首页,点击 Start(user guide: General)。
  2. 只保留真正的页面。 在 Internal 标签页中筛选 HTML。跳过感谢页、登录页和标签页。
  3. 导出。 点击左上角的 Export。文件里有每个页面的网址、标题、H1 和前几个 H2。默认情况下,工具只收集页面上“the first two”(前两个)H1 和 H2(user guide: Tabs),做地图已经足够。
  4. 加一列:主关键词。 为每个页面写下它应该回答的那一个搜索,用客户的说法:写“water heater repair Tulsa”(塔尔萨热水器维修),而不是“plumbing solutions”(管道解决方案)。从标题和 H1 中读出来。如果您看不出来,搜索引擎的读者也看不出来。
  5. 按这一列排序。 重复项和空白项现在都挨在一起。
  6. 加上搜索量。 把主关键词粘贴到关键词规划师中,把每月估算值复制到表格里。很多本地词显示很低或没有数字:“Keywords with very low search volumes... aren't discoverable or forecastable”(搜索量很低的关键词……无法被发现或预测)(Google Ads Help: Use Keyword Planner)。低不等于零。
  7. 加上真实搜索词。 在 Search Console 中打开效果报告,筛选某一个页面,然后切换到“查询”。这就是 Google 已经让这个页面出现的搜索。

最后留下的就是地图:每个页面一行,每行一个主关键词,再加上它已经拿下的搜索。

找出两个页面抢同一个关键词

排序后,任何出现两次的关键词都是冲突,通常叫作关键词自相蚕食(keyword cannibalization)。小网站的典型情况:一个“Drain cleaning”(下水道疏通)服务页,加上一篇标题为“Drain cleaning in Tulsa”的博客文章;或者两个几乎一样的城镇页面。

Screaming Frog 会帮您标出其中一部分。Page Titles > Duplicate 会列出标题相同的页面;工具说明指出,标题相同会让“more challenging for users and the search engines to understand one page from another”(用户和搜索引擎更难分辨这个页面和那个页面)(user guide: Tabs)。

按页面的用途来处理,而不是套规则:

  • 意图相同: 合并到更强的那个页面,另一个做重定向。
  • 意图不同: 两个都保留,但各给一个关键词。服务页瞄准“drain cleaning Tulsa”;文章瞄准“why does my drain keep clogging”(为什么我的下水道老是堵)。

不确定两个关键词是否属于同一个页面?分别搜索并比较结果:SERP 重合度。

找出还没有页面的关键词

缺口有两种表现。

  • 地图上缺少的服务或城镇。 列出您卖什么、在哪里卖。没有对应行的,就是您缺的页面。
  • 没有对应页面的搜索。 在 Search Console 的查询列表中,找那些您碰巧有排名的词——来自一个只是顺带提到它们的页面。在弱页面上表现强的搜索词,就是一个等着写的新页面。

想看竞争对手覆盖了什么,用同样的方法爬取他们的网站:用 Screaming Frog 分析竞争对手。

检查关键词位置,但不要堆砌

地图也会显示页面的关键词在哪里缺失。如果标题写的是“Water Heater Repair”,H1 却写“Welcome”,这个 H1 就浪费了。把主关键词用自然的说法放进标题和 H1。

Screaming Frog 的“Same as h1”筛选不算问题;工具说它“not necessarily an issue”(不一定是问题)。还有两件事可以不管:

  • 元关键词(meta keywords)。 Google 表示 Google 搜索“doesn't use the keywords meta tag”(不使用 keywords 元标记)(SEO Starter Guide)。Screaming Frog 的指南也说可以忽略这个标签页。
  • 到处用完全相同的措辞。 Google 表示:
"Google's language matching systems are sophisticated and can understand how your page relates to many queries, even if you don't explicitly use the exact terms in them." (Google Search Central: SEO Starter Guide) 译文:“Google 的语言匹配系统很先进,即使您没有在页面中明确使用完全相同的词语,它也能理解您的页面与许多搜索查询之间的关系。”

它还说,一遍又一遍地重复词语“against Google's spam policies”(违反 Google 的垃圾内容政策)。目标是每个页面一个清楚的关键词,再加上客户会用的相关词:每个页面放多少关键词。

示例

以下为示意案例,数字为虚构。

一个有 35 个页面的水管工(美元)

免费爬取列出 35 个 HTML 页面。地图显示,“drain cleaning”同时出现在服务页和两篇博客文章上。其中一篇和服务页内容重复;他把它合并并做了重定向。关键词规划师对“hydro jetting Tulsa”(塔尔萨高压水射流疏通)没有显示任何数据,但 Search Console 显示有一篇博客文章因这个词获得了展示,于是他写了一个服务页。工具费用:$0。

渥太华的一家牙科诊所(授权以英镑计价)

网站有 900 个网址,大部分是博客文章,所以免费爬取在 500 个时停止。诊所老板买了授权(每年 £199),对“Invisalign”运行自定义搜索,发现有 14 个页面用到这个词,但没有一个把它放在标题里。她选定一个页面作为明确的目标页,并让其他页面都链接到它。

常见问题

Screaming Frog 能显示搜索量吗?

不能。它显示的是您页面上有什么,而不是人们搜索什么。关键词规划师估算搜索量;Search Console 显示您已经出现的搜索。

免费版够做关键词研究吗?

如果是为少于 500 个网址的网站做关键词地图,够了。自定义搜索、爬取结果中的 Search Console 数据和语义相似度需要每年 £199 的授权。

什么是关键词自相蚕食?

您有两个或更多页面瞄准同一个搜索。如果它们做的是同一件事,就合并;否则给每个页面各自的关键词。

我真的需要 Screaming Frog 吗?

10 到 20 个页面不需要;手动填写的电子表格就够了。等页面多到无法手动检查时,爬虫工具才能帮您省时间。

您的情况不同?

继续阅读

下一篇用 Semrush 做关键词研究:一步一步来如何在 Semrush 中做关键词研究:Keyword Magic Tool 的匹配类型、值得设置的筛选条件,以及保存一份可以直接用的精简关键词清单。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Screaming Frog: SEO Spider pricing
  2. Screaming Frog: SEO Spider user guide, General
  3. Screaming Frog: SEO Spider user guide, Tabs
  4. Screaming Frog: SEO Spider user guide, Configuration
  5. Google Search Central: SEO Starter Guide
  6. Google Ads: Keyword Planner
  7. Google Ads Help: Use Keyword Planner
  8. Search Console Help: Performance report (Search results)