产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 做网红合作:它能做什么

更新于 · 阅读约 7 分钟

简短回答 Screaming Frog 找不到网红。它抓取的是网站,而 Instagram 的 robots.txt 会拦截所有未经批准的爬虫。请用平台自带的工具或搜索来找创作者,再把他们的博客粘贴到 List 模式(免费版最多 500 个网址),检查主题是否相关、赞助内容是否披露,以及联系页面。批量提取联系方式需要每年 £199 的付费许可。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

Screaming Frog 能找到网红吗?

不能。Screaming Frog 的 SEO Spider 是一款爬虫:一个桌面程序,打开您给它的网址,记录每个页面上的内容。它没有任何人员、粉丝数或受众的数据库。大多数网红活跃在 Instagram、TikTok 和 YouTube 上,而这些平台不让爬虫进入关键部分。

它能做的是检查创作者自己运营的网站:美食博主的网站、本地育儿博客、家装 YouTuber 的主页。

工作用 Screaming Frog?改用
在 Instagram、TikTok 或 YouTube 上找创作者不行平台自带的创作者工具(见下文)
查看粉丝数、互动率或受众所在地不行创作者的媒体资料包,或平台的工具
抓取粘贴进来的一串创作者网站可以,List 模式,免费版最多 500 个网址无
检查博客写什么内容、页面是否正常可以,免费无
查看赞助文章链接到哪里,以及这些链接是否有标注可以,Outlinks 标签页,免费无
在大量网站中标出写有 “sponsored” 或 “#ad” 的页面可以,Custom Search,仅限付费许可在每个页面按 Ctrl+F
把邮箱和社交主页链接提取到表格里可以,Custom Extraction,仅限付费许可从每个联系页面复制

付费许可每位用户每年 £199,Screaming Frog 的价格页面把 Custom Search 与 Extraction、JavaScript 渲染和保存抓取结果列为付费功能(价格页面,2026 年 11 月)。

为什么它不能抓取 Instagram 或 TikTok?

平台不允许,而这个工具会遵守。Screaming Frog 的使用指南写道:“By default the SEO Spider will obey robots.txt protocol”(默认情况下,SEO Spider 会遵守 robots.txt 协议)。robots.txt 是网站告诉爬虫可以访问哪些内容的文件。Instagram 的 robots.txt 最后有一条规则,拦截所有它没有点名的爬虫,开头则是这样一段声明:

"Collection of data on Instagram through automated means is prohibited unless you have express written permission from Instagram" (Instagram: robots.txt) 译文:“除非获得 Instagram 的明确书面许可,否则禁止通过自动化方式收集 Instagram 上的数据。”

TikTok 的 robots.txt 不让爬虫访问它的搜索页面,包括用户搜索,所以爬虫也无法在那里查找创作者。把工具设置成忽略 robots.txt 或伪装身份,违背了这些网站的要求,所以不要这样做。

那该去哪里找网红?

先用平台自带的工具,它们能显示 Screaming Frog 永远看不到的受众数据:

  • Instagram。 Meta 表示,它的创作者市场 “can help brands easily find relevant creators”(可以帮助品牌轻松找到相关创作者),并且 “Brands can also search for creators, filtering for creator and audience attributes.”(品牌还可以搜索创作者,并按创作者和受众属性筛选。)通过 Meta Business Suite 加入。
  • TikTok。 TikTok 帮助中心表示,创作者发现工具就在 “directly within your TikTok One account”(直接位于您的 TikTok One 账户中);其中一些,比如 AI 搜索,“available to select customers”(仅向部分客户开放)。
  • YouTube。 2026 年 3 月,YouTube 把 BrandConnect 更名为 YouTube Creator Partnerships,广告主在 Google Ads 中使用。

对本地企业来说,最好的创作者往往靠人工找到:在 Google 上搜索 `[your city] food blog` 或 `[your city] mom blog`,看看谁已经在标记您,并问问客户关注哪些本地账号。如果创作者有网站,把网址记下来。这份名单就是 Screaming Frog 要检查的内容。

第 1 步:列出每位创作者的网站页面

对每位有网站的创作者,把三四个网址复制到一个文本文件里:

  • 首页
  • “关于”、联系或 “work with me”(合作)页面
  • 一两篇有赞助或收到赠品的文章(看顶部附近是否写有 “sponsored”、“in partnership with” 或 “#ad”)

只有社交账号和一个主页链接聚合页(link-in-bio)的创作者不需要抓取,直接在应用里看他们的主页。

第 2 步:用 List 模式抓取名单

  1. 下载 SEO Spider(Windows、Mac 或 Ubuntu)并打开。
  2. 选择 Mode > List,点击 Upload,粘贴您的网址,每个都带上 https://。
  3. 点击 Start。Screaming Frog 的 List 模式指南说,抓取深度设为 0,所以 “only the URLs uploaded will be crawled”(只会抓取上传的网址)。40 位创作者每人 4 个页面就是 160 个网址,在免费额度之内。
  4. 如果某个网站返回 403(禁止访问)或 429(请求过多),说明它拒绝爬虫。改用浏览器打开。

第 3 步:检查相关性、维护情况和是否诚实

在上方窗口中逐个点击页面,查看各个标签页。

您看到的在哪里说明什么
页面标题和 H1 标题与您的行业或城市有关Page Titles、H1 标签页他们的读者可能就是您的客户
标题在互不相关的主题之间跳来跳去Page Titles 标签页几乎没有真实受众;常常是卖文章的网站
大量 404 错误(页面不存在)Response Codes 标签页网站疏于维护;优先级较低
赞助文章的链接标注了 sponsored 或 nofollowOutlinks 标签页的 Follow 和 Rel 列创作者遵守 Google 关于付费链接的规则
赞助文章用精确关键词做链接,且没有披露Outlinks 标签页,再加上阅读文章这对您也是风险,不只是对他们(见下文)

Google 要求发布者 “Mark links that are advertisements or paid placements (commonly called paid links) with the sponsored value”(用 sponsored 值标注属于广告或付费投放的链接,通常称为付费链接)(Google Search Central: Qualify your outbound links)。这样做的创作者习惯了规范地和品牌合作。

为什么披露也是您的事

如果您付钱或送赠品给创作者,法律要求文章说明这一点。美国联邦贸易委员会(FTC)要求网红 “Disclose when you have any financial, employment, personal, or family relationship with a brand”(与品牌有任何财务、雇佣、个人或家庭关系时都要披露),像 “advertisement”、“ad” 和 “sponsored” 这样的词都可以。它还让品牌承担责任:

"Your company is ultimately responsible for what others do on your behalf." (FTC: Endorsement Guides, what people are asking) 译文:“您的公司最终要为他人代表您所做的事负责。”

加拿大也差不多。加拿大竞争局(Competition Bureau)2018 年的摘要说 “advertisers may be liable for representations made through influencers”(广告主可能要为通过网红做出的陈述承担责任),并要求品牌 “Ensure that influencers clearly disclose material connections”(确保网红清楚披露重要关联)。

所以在联系创作者之前,先看看他们过去的赞助文章。如果没有一篇说明收了钱或赠品,您的那篇大概也一样。

要保存记录,在任意标签页点击 Export;List 模式指南说它 “on any tab as usual”(在任何标签页都照常可用)。每位创作者再记下一篇近期文章,联系时可以提到。

第 4 步:从名单中提取联系方式(付费许可)

有付费许可时,Custom Extraction(Configuration > Custom > Extraction)会为每个页面填一列数据。Screaming Frog 的抓取教程给出了用于邮箱链接的 `//a[starts-with(@href, 'mailto')]`;换成 `//a[contains(@href, 'instagram.com')]/@href`,就能用同样的方法收集 Instagram 主页链接。教程提到您需要 “have a licence to access the custom extraction feature”(拥有付费许可才能使用自定义提取功能)。

没有付费许可,就打开每个联系页面复制信息。20 位创作者用不了一个小时。

使用创作者为品牌合作公开的邮箱或表单。把能找到的地址全部批量收集,就开始触及反垃圾邮件法了:

  • 美国。 FTC 的 CAN-SPAM 指南把 “harvesting email addresses”(收集电子邮件地址)列为可能招致额外处罚(包括监禁)的行为,并说 “The law makes no exception for business-to-business email.”(该法对企业之间的电子邮件没有例外。)
  • 加拿大。 《加拿大反垃圾邮件法》(CASL)要求发送商业电子邮件前获得同意。公开的地址只有在没有附带拒绝主动来信的声明、且您的邮件与对方的业务职责相关时,才算数(CASL 第 10(9)(b) 条)。“work with me” 页面本身就是在邀请合作提案。

更多内容:在反垃圾邮件法范围内做陌生开发和 CASL 同意。

您到底需不需要 Screaming Frog?

通常不需要。和五到十位本地创作者合作的小企业,一个下午就能在浏览器里把每个网站看完。当您有 30 个或更多创作者网站要比较时,免费爬虫才有帮助。只有当您要审查几百个网站、并希望自动提取联系方式链接时,付费许可才划算。

示例

以下为示意案例,数字为虚构。

卡尔加里的一家面包店(加元)

它在 Instagram 上找到 25 位本地美食创作者,其中 12 位有博客。对 45 个网址做免费抓取后发现,有三个博客主要发赌场和贷款文章。剩下的九位中,有六位披露过以往的赞助文章。面包店给这六位每人送一个价值 $50 的礼盒,并要求发文时加上 “#ad”。

丹佛的一家暖通空调公司(美元)

一位家装博主一篇文章要价 $400。抓取显示,她的赞助文章外链都带 rel="sponsored",开头写着 “In partnership with”。公司决定和她合作。

一家牙科诊所

一位育儿博主在 Instagram 上有 40,000 名粉丝,但没有网站。诊所跳过抓取,直接在应用里查看她以往的合作文章。

常见问题

Screaming Frog 能抓取 Instagram 粉丝或邮箱吗?

不能。Instagram 的 robots.txt 拦截所有未点名的爬虫,而 Screaming Frog 默认遵守 robots.txt。请使用 Instagram 的创作者市场,或创作者自己公开的联系方式。

用 Screaming Frog 做网红调研免费吗?

免费版最多抓取 500 个网址,可以显示标题、标题标签、响应代码和外链。Custom Search 和 Custom Extraction 需要每年 £199 的付费许可。

能用 Screaming Frog 衡量网红的受众吗?

不能。它看到的是网站页面,不是粉丝或互动。请向创作者索取平台数据分析,或使用平台的创作者市场。

赞助博客文章可以用普通链接链接到我吗?

不可以。Google 要求付费链接标注为 sponsored。文章仍然可以给您带来访客和客户;用带标记的链接来追踪他们(网红效果追踪)。

您的情况不同?

继续阅读

下一篇用 Content Explorer 找客座文章:找网站,也找选题如何用 Ahrefs Content Explorer 找客座文章网站、未加链接的提及和竞争小的选题,哪个方案包含它,以及免费的做法。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Screaming Frog: SEO Spider pricing
  2. Screaming Frog: SEO Spider user guide, Configuration
  3. Screaming Frog: SEO Spider user guide, Tabs
  4. Screaming Frog: How to use List mode
  5. Screaming Frog: Web scraping and data extraction tutorial
  6. Instagram: robots.txt
  7. TikTok: robots.txt
  8. Meta for Business: Instagram's creator marketplace expansion (2024)
  9. TikTok Business Help Center: Find creators with the creator leaderboard
  10. YouTube Official Blog: brand and creator partnerships (March 2026)
  11. FTC: Disclosures 101 for Social Media Influencers
  12. FTC: Endorsement Guides, what people are asking
  13. Competition Bureau Canada: Deceptive Marketing Practices Digest, Volume 4 (2018)
  14. Google Search Central: Qualify your outbound links to Google
  15. FTC: CAN-SPAM Act, a compliance guide for business (archived 2026-10-31)
  16. Justice Laws Website: Canada's Anti-Spam Legislation, section 10