用 Screaming Frog 做客座投稿:筛选候选网站清单
简短回答 Screaming Frog 找不到客座投稿网站,它只检查您已经找到的网站。把每个候选网站的首页和两三篇客座文章贴进 List 模式(免费版最多 500 个网址)。查看 Outlinks 标签:如果满是堆砌关键词、指向不相关商家的链接,说明这个网站在卖链接。剔除这些,保留相关网站,再通过它们的联系页面投稿。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话Screaming Frog 在客座投稿上能做什么,不能做什么
它是检查工具,不是搜索工具。Screaming Frog 的 SEO Spider 是一款爬虫:一个桌面程序,访问您给它的网址,记录每个页面上的内容,包括每一个外链。它没有接受客座文章的网站名单。名单由您提供;它告诉您其中哪些网站值得发邮件。
| 工作 | Screaming Frog 能做吗? | 免费版可以吗? |
|---|---|---|
| 找出您所在领域中刊登外部作者文章的网站 | 不能。用 Google 搜索和种子页面(寻找外链机会) | 不适用 |
| 爬取一份贴入的候选页面清单 | 能,用 List 模式 | 可以,最多 500 个网址 |
| 查看客座文章中的每个外链、锚文本(可点击的文字)以及是否为 nofollow | 能,用 Outlinks 标签 | 可以 |
| 发现候选网站上的失效页面和缺失标题 | 能 | 可以 |
| 在每个页面中搜索 "write for us" 或 "sponsored post" | 能,用 Custom Search | 不行,需要授权 |
| 把作者姓名或联系方式提取到表格列中 | 能,用 Custom Extraction | 不行,需要授权 |
| 加入 Ahrefs、Majestic 或 Moz 的链接评分 | 能,用 API Access | 不行;还需要该工具的账户 |
50 到 100 个候选网站,免费版就够用。Screaming Frog 的价格页把修改设置、保存爬取结果、自定义搜索和提取列为授权功能;授权价格为每位用户每年 £199(价格页,2026 年 11 月)。
Google 还允许为了链接做客座投稿吗?
为其他网站写文章没问题。为了植入关键词链接而写就是垃圾内容。Google 的垃圾内容政策把这列为链接操纵行为之一:
"Advertorials or native advertising where payment is received for articles that include links that pass ranking credit, or links with optimized anchor text in articles, guest posts, or press releases distributed on other sites." (Google Search Central: Spam policies for Google web search) 译文:“收取费用、文章中包含传递排名权重链接的软文或原生广告,或者在发布到其他网站的文章、客座文章或新闻稿中使用经过优化锚文本的链接。”
Google 2017 年关于文章推广活动的提醒列出了警示信号,包括 "Having the articles published across many different sites"(把文章发布到许多不同网站)和 "Stuffing keyword-rich links to your site in your articles"(在文章中堆砌指向您网站的关键词链接)。它还说,发布这类文章的网站也可能受影响:
"When Google detects that a website is publishing articles that contain spammy links, this may change Google's perception of the quality of the site and could affect its ranking." (Google Search Central Blog, 2017) 译文:“当 Google 发现某个网站在发布含有垃圾链接的文章时,可能会改变 Google 对该网站质量的看法,并可能影响其排名。”
这才是要筛选的真正原因。卖链接的网站,Google 可能早已不信任,您在那里的链接价值很低,甚至有害。投稿是为了读者和引荐访问,不是为了提升排名;请看有效的外链建设。
第 1 步:在工具之外建立初始清单
从以下来源收集 20 到 50 个候选网站:
- Google 搜索,例如 `"write for us" landscaping` 或 `"guest post" bookkeeping`。
- 已经报道过您这类商家的行业协会、供应商和本地刊物(寻找外链机会)。
- 链接到您竞争对手的网站,用链接工具查找(反向链接分析)。
每个网站复制三个网址到一个文本文件:首页,以及两篇外部作者最近写的文章(找 "guest author" 署名或投稿人页面)。
第 2 步:用 List 模式爬取清单
- 下载并打开 SEO Spider。它支持 Windows、Mac 和 Ubuntu Linux。
- 选择 Mode > List,点击 Upload,贴入您的网址。每个网址都要带 https://。
- 点击 Start。在 List 模式下爬取深度设为 0,所以 "only the URLs uploaded will be crawled"(只爬取上传的网址)(Screaming Frog: How to use List mode)。50 个网站各 3 个页面就是 150 个网址,远低于免费上限。
- 保持默认速度。工具用 5 个线程爬取,"to not overload servers"(以免服务器过载),并遵守每个网站的 robots.txt(告诉爬虫哪些内容不要抓取的文件)。如果网站返回 403(禁止访问)或 429(请求过多),说明它拒绝爬虫。请手动查看;不要伪装爬虫。
第 3 步:根据爬取结果筛选每个候选网站
在上方窗口点击一篇客座文章,然后打开底部的 Outlinks 标签。它列出该页面上的每个链接,包括 Anchor Text、Follow 列("False" 表示链接带有 nofollow、UGC 或 sponsored)和 Rel 列。
| 您看到的 | 说明什么 | 保留吗? |
|---|---|---|
| 两三个外链,用普通文字,指向相关来源 | 经过编辑的正常发布 | 保留 |
| 作者链接标为 nofollow 或 sponsored | 网站遵守 Google 规则;您的链接不会传递排名权重,但能带来访客 | 保留,前提是它的读者是您的客户 |
| 每篇文章有很多链接,用精确关键词锚文本("best cheap roofing Dallas")指向不相关的商家 | 卖链接 | 不保留 |
| 文章主题在赌场、CBD、加密货币和水管维修之间乱跳 | 没有真实读者;专为卖链接而建 | 不保留 |
| 页面标题和标题标签(Page Titles 和 H1 标签)与您的领域相符 | 读者相关 | 保留 |
| 爬取的页面有很多 404 错误 | 网站疏于维护 | 排到后面 |
Google 对发布者的规则解释了 nofollow 的结果:"advertisements or paid placements"(广告或付费展示位)的链接应该带 rel="sponsored"(Google Search Central: Qualify your outbound links)。如实标注客座链接的网站,比不标注的更值得合作。请看 nofollow 与 dofollow。
要保存清单,点击 Upload 和 Start 旁边的 Export 按钮:它会按您上传的顺序把爬取结果存成电子表格(Screaming Frog: How to use List mode)。加两列:是否保留、联系页面,边看边填。
第三方评分可以帮助排序,不能用来做决定。Moz 表示它的 Domain Authority "is not a direct ranking factor"(不是直接的排名因素)(Moz: What is Domain Authority?)。一个您的客户会读的小型行业博客,胜过一个什么都发的高分网站。
第 4 步:找到编辑的联系页面
用普通的 Spider 模式爬取一个入选网站(贴入首页,点击 Start)。在右上角的搜索框输入 `contact`、`write` 或 `contribute`;它会筛选 Address 列。打开页面,写稿前先读投稿规则。
用网站提供的投稿邮箱或表单。把网站上的所有邮箱地址都抓下来有法律风险:
- 美国。 美国联邦贸易委员会(FTC)的 CAN-SPAM 指南把 "harvesting email addresses"(收集邮箱地址)列为会受刑事处罚的行为之一,并表示 "The law makes no exception for business-to-business email."(该法律对企业之间的邮件没有例外。)商业邮件必须写明您的邮寄地址,并提供退订方式。
- 加拿大。 《加拿大反垃圾邮件法》(CASL)要求发送商业邮件前取得同意。公开的工作邮箱只有在发布时 "is not accompanied by a statement that the person does not wish to receive unsolicited commercial electronic messages"(没有附带声明表示此人不希望收到未经请求的商业电子信息),且邮件内容与对方职务相关时才算数(CASL 第 10(9)(b) 条)。"write for us" 页面欢迎投稿;标有 "no solicitations"(谢绝推销)的员工名单则不是。
两者的详细说明:符合反垃圾邮件法的陌生开发和 CASL 同意。
需要付费授权吗?
每月只向几个网站投稿的小企业不需要。免费版包含 List 模式、Outlinks 标签和每次爬取 500 个网址。只有当您要筛选几百个网站、想用 Custom Search 自动标出 "sponsored post" 页面,或想保存爬取结果以便日后复查已发布的链接时,授权才能省时间。
示例
以下为示意案例,数字为虚构。
多伦多的一位记账师(加元)
她找到 30 个小企业博客,免费爬取 90 个网址,剔除了 11 个客座文章带有三个或更多关键词链接、指向不相关网站的博客。剩下 19 个中,有 6 个在投稿人页面上列出了投稿邮箱。成本:$0,外加一个下午。
凤凰城的一位泳池清洁商(美元)
一个网站提供 $150 的"客座文章"。爬取显示它的文章链接到一家赌场、一个贷款中介和一家屋顶公司,全都用精确关键词锚文本。他放弃了:按 Google 的政策,这就是付费链接。
一家牙科诊所
一本地区健康杂志把所有作者链接都标为 sponsored。诊所仍然投稿:读者是本地患者,即使没有排名权重,访问量也有价值。
常见问题
Screaming Frog 能帮我找到客座投稿网站吗?
不能。它只爬取您提供的网址。先用 Google 搜索、行业协会和反向链接工具找到候选网站,再爬取它们检查质量。
做这件事 Screaming Frog 免费吗?
免费,每次爬取最多 500 个网址。Custom Search、Custom Extraction 和 API 链接评分需要每年 £199 的授权。
网站屏蔽爬虫时,我应该改 user-agent 绕过去吗?
不应该。屏蔽说明网站不想被爬取。用浏览器查看这些页面;而且修改 user-agent 也需要授权。
nofollow 的客座文章链接有用吗?
Google 把 nofollow、sponsored 和 ugc 视为 "hints about which links to consider or exclude within Search"(关于在搜索中考虑或排除哪些链接的提示)(Google Search Central Blog, 2019),所以别指望有多少排名权重。但它们仍能带来点击进来的读者。
您的情况不同?
- 还没有候选网站:寻找外链机会。
- 想知道哪些链接值得争取:优质反向链接。
- 正在写投稿邮件:AI 外联。
- 想改为爬取对手的网站:用 Screaming Frog 分析竞争对手。
- 希望有人替您寻找机会并联系网站:SEO 与 GEO 智能体。