用 Screaming Frog 做关键词研究:理清每个页面的关键词
简短回答 Screaming Frog 不会帮您找新关键词,也不显示搜索量。它是一个爬虫工具:列出网站上的每个页面,以及它们的标题和标题标签。所以它很适合做一件事——关键词地图:哪个页面瞄准哪个搜索,哪两个页面在抢同一个搜索,哪些服务还没有页面。搜索量从关键词规划师(Keyword Planner)获取,真实搜索词从 Search Console 获取。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话Screaming Frog 在关键词上能做什么,不能做什么
它读取您的页面,但不知道人们搜索什么。Screaming Frog 的 SEO Spider 是一个爬虫工具:一个桌面程序,顺着网站上的每个链接走,记录每个页面。它没有关键词数据库,没有搜索量,也没有排名。
所以把工作分给三个免费工具:
| 问题 | 工具 | 费用 |
|---|---|---|
| 每个页面现在瞄准哪个关键词? | Screaming Frog(标题、H1、H2) | 500 个网址以内免费 |
| 一个词有多少人搜索? | Google 关键词规划师(Keyword Planner) | 免费,但需要一个填写了付款信息的 Google Ads 账户(Google Ads: Keyword Planner) |
| 哪些搜索已经会显示我的页面? | Google Search Console 的效果报告 | 免费 |
关键词规划师提供“estimates of the searches they receive and the cost to target them”(关键词的搜索量估算以及投放它们的费用),而要使用它,您“must enter your billing information and complete your account setup”(必须填写付款信息并完成账户设置)(Google Ads Help: Use Keyword Planner)。Search Console 帮您“learn which queries are bringing traffic to your site”(了解哪些搜索词在为您的网站带来流量)(Search Console Help: Performance report)。
免费版还是付费授权:您需要什么
为小网站做关键词地图,免费版就够了。它最多爬取 500 个网址,并显示页面标题和元数据(Screaming Frog: SEO Spider pricing)。付费授权每年 £199,取消这个上限(user guide: General)。
| 功能 | 免费 | 付费授权 |
|---|---|---|
| 每个页面的标题、元描述、H1 和 H2 | 有 | 有 |
| 导出到电子表格 | 有 | 有 |
| 自定义搜索(Custom Search,找出包含或不包含某个词组的页面) | 无 | 有 |
| 在每个页面旁显示 Search Console 数据 | 无 | 有 |
| 语义相似度(找出讲同一件事的页面) | 无 | 有 |
| 保存爬取结果并重新打开 | 无 | 有 |
根据定价页面,自定义搜索、Search Console 集成和语义相似度仅限付费授权。
如何一步步做出关键词地图
- 爬取。 安装 SEO Spider(Windows、macOS 或 Ubuntu),在“Enter URL to spider”中输入您的首页,点击 Start(user guide: General)。
- 只保留真正的页面。 在 Internal 标签页中筛选 HTML。跳过感谢页、登录页和标签页。
- 导出。 点击左上角的 Export。文件里有每个页面的网址、标题、H1 和前几个 H2。默认情况下,工具只收集页面上“the first two”(前两个)H1 和 H2(user guide: Tabs),做地图已经足够。
- 加一列:主关键词。 为每个页面写下它应该回答的那一个搜索,用客户的说法:写“water heater repair Tulsa”(塔尔萨热水器维修),而不是“plumbing solutions”(管道解决方案)。从标题和 H1 中读出来。如果您看不出来,搜索引擎的读者也看不出来。
- 按这一列排序。 重复项和空白项现在都挨在一起。
- 加上搜索量。 把主关键词粘贴到关键词规划师中,把每月估算值复制到表格里。很多本地词显示很低或没有数字:“Keywords with very low search volumes... aren't discoverable or forecastable”(搜索量很低的关键词……无法被发现或预测)(Google Ads Help: Use Keyword Planner)。低不等于零。
- 加上真实搜索词。 在 Search Console 中打开效果报告,筛选某一个页面,然后切换到“查询”。这就是 Google 已经让这个页面出现的搜索。
最后留下的就是地图:每个页面一行,每行一个主关键词,再加上它已经拿下的搜索。
找出两个页面抢同一个关键词
排序后,任何出现两次的关键词都是冲突,通常叫作关键词自相蚕食(keyword cannibalization)。小网站的典型情况:一个“Drain cleaning”(下水道疏通)服务页,加上一篇标题为“Drain cleaning in Tulsa”的博客文章;或者两个几乎一样的城镇页面。
Screaming Frog 会帮您标出其中一部分。Page Titles > Duplicate 会列出标题相同的页面;工具说明指出,标题相同会让“more challenging for users and the search engines to understand one page from another”(用户和搜索引擎更难分辨这个页面和那个页面)(user guide: Tabs)。
按页面的用途来处理,而不是套规则:
- 意图相同: 合并到更强的那个页面,另一个做重定向。
- 意图不同: 两个都保留,但各给一个关键词。服务页瞄准“drain cleaning Tulsa”;文章瞄准“why does my drain keep clogging”(为什么我的下水道老是堵)。
不确定两个关键词是否属于同一个页面?分别搜索并比较结果:SERP 重合度。
找出还没有页面的关键词
缺口有两种表现。
- 地图上缺少的服务或城镇。 列出您卖什么、在哪里卖。没有对应行的,就是您缺的页面。
- 没有对应页面的搜索。 在 Search Console 的查询列表中,找那些您碰巧有排名的词——来自一个只是顺带提到它们的页面。在弱页面上表现强的搜索词,就是一个等着写的新页面。
想看竞争对手覆盖了什么,用同样的方法爬取他们的网站:用 Screaming Frog 分析竞争对手。
检查关键词位置,但不要堆砌
地图也会显示页面的关键词在哪里缺失。如果标题写的是“Water Heater Repair”,H1 却写“Welcome”,这个 H1 就浪费了。把主关键词用自然的说法放进标题和 H1。
Screaming Frog 的“Same as h1”筛选不算问题;工具说它“not necessarily an issue”(不一定是问题)。还有两件事可以不管:
- 元关键词(meta keywords)。 Google 表示 Google 搜索“doesn't use the keywords meta tag”(不使用 keywords 元标记)(SEO Starter Guide)。Screaming Frog 的指南也说可以忽略这个标签页。
- 到处用完全相同的措辞。 Google 表示:
"Google's language matching systems are sophisticated and can understand how your page relates to many queries, even if you don't explicitly use the exact terms in them." (Google Search Central: SEO Starter Guide) 译文:“Google 的语言匹配系统很先进,即使您没有在页面中明确使用完全相同的词语,它也能理解您的页面与许多搜索查询之间的关系。”
它还说,一遍又一遍地重复词语“against Google's spam policies”(违反 Google 的垃圾内容政策)。目标是每个页面一个清楚的关键词,再加上客户会用的相关词:每个页面放多少关键词。
示例
以下为示意案例,数字为虚构。
一个有 35 个页面的水管工(美元)
免费爬取列出 35 个 HTML 页面。地图显示,“drain cleaning”同时出现在服务页和两篇博客文章上。其中一篇和服务页内容重复;他把它合并并做了重定向。关键词规划师对“hydro jetting Tulsa”(塔尔萨高压水射流疏通)没有显示任何数据,但 Search Console 显示有一篇博客文章因这个词获得了展示,于是他写了一个服务页。工具费用:$0。
渥太华的一家牙科诊所(授权以英镑计价)
网站有 900 个网址,大部分是博客文章,所以免费爬取在 500 个时停止。诊所老板买了授权(每年 £199),对“Invisalign”运行自定义搜索,发现有 14 个页面用到这个词,但没有一个把它放在标题里。她选定一个页面作为明确的目标页,并让其他页面都链接到它。
常见问题
Screaming Frog 能显示搜索量吗?
不能。它显示的是您页面上有什么,而不是人们搜索什么。关键词规划师估算搜索量;Search Console 显示您已经出现的搜索。
免费版够做关键词研究吗?
如果是为少于 500 个网址的网站做关键词地图,够了。自定义搜索、爬取结果中的 Search Console 数据和语义相似度需要每年 £199 的授权。
什么是关键词自相蚕食?
您有两个或更多页面瞄准同一个搜索。如果它们做的是同一件事,就合并;否则给每个页面各自的关键词。
我真的需要 Screaming Frog 吗?
10 到 20 个页面不需要;手动填写的电子表格就够了。等页面多到无法手动检查时,爬虫工具才能帮您省时间。
您的情况不同?
- 您还没有关键词列表:本地企业的关键词研究。
- 您想从自己的搜索数据入手:用 Search Console 做关键词研究。
- 您在为一个页面选择主关键词和辅助关键词:主关键词和次要关键词。
- 您希望有人帮您做好地图并修好页面:SEO 与 GEO 智能体。