產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

用 Screaming Frog 做網紅合作:它能做什麼

更新於 · 閱讀約 7 分鐘

簡短回答 Screaming Frog 找不到網紅。它爬取的是網站,而 Instagram 的 robots.txt 會封鎖所有未經核准的爬蟲。請用平台自己的工具或搜尋來找創作者,再把他們的部落格貼到 List 模式(免費版最多 500 個網址),檢查主題是否相關、業配內容是否揭露,以及聯絡頁面。批次擷取聯絡方式需要每年 £199 的付費授權。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

Screaming Frog 能找到網紅嗎?

不能。Screaming Frog 的 SEO Spider 是一套爬蟲工具:一個桌面程式,打開您給它的網址,記錄每個頁面上的內容。它沒有任何人員、粉絲數或受眾的資料庫。大多數網紅活躍在 Instagram、TikTok 和 YouTube 上,而這些平台不讓爬蟲進入關鍵的部分。

它能做的是檢查創作者自己經營的網站:美食部落客的網站、在地育兒部落格、居家裝修 YouTuber 的首頁。

工作用 Screaming Frog?改用
在 Instagram、TikTok 或 YouTube 上找創作者不行平台自己的創作者工具(見下文)
查看粉絲數、互動率或受眾所在地不行創作者的媒體資料包,或平台的工具
爬取貼上的一串創作者網站可以,List 模式,免費版最多 500 個網址無
檢查部落格寫什麼內容、頁面是否正常可以,免費無
查看業配文章連結到哪裡,以及這些連結是否有標註可以,Outlinks 分頁,免費無
在大量網站中標出寫有「sponsored」或「#ad」的頁面可以,Custom Search,僅限付費授權在每個頁面按 Ctrl+F
把電子郵件和社群檔案連結擷取到試算表可以,Custom Extraction,僅限付費授權從每個聯絡頁面複製

付費授權每位使用者每年 £199,Screaming Frog 的價格頁面把 Custom Search 與 Extraction、JavaScript 算繪和儲存爬取結果列為付費功能(價格頁面,2026 年 11 月)。

為什麼它不能爬取 Instagram 或 TikTok?

平台不允許,而這個工具會遵守。Screaming Frog 的使用指南寫道:「By default the SEO Spider will obey robots.txt protocol」(預設情況下,SEO Spider 會遵守 robots.txt 協定)。robots.txt 是網站告訴爬蟲可以造訪哪些內容的檔案。Instagram 的 robots.txt 最後有一條規則,封鎖所有它沒有點名的爬蟲,開頭則是這樣一段聲明:

"Collection of data on Instagram through automated means is prohibited unless you have express written permission from Instagram" (Instagram: robots.txt) 譯文:「除非取得 Instagram 的明確書面許可,否則禁止透過自動化方式蒐集 Instagram 上的資料。」

TikTok 的 robots.txt 不讓爬蟲存取它的搜尋頁面,包括使用者搜尋,所以爬蟲也無法在那裡查找創作者。把工具設定成忽略 robots.txt 或偽裝身分,違背了這些網站的要求,所以不要這樣做。

那該去哪裡找網紅?

先用平台自己的工具,它們能顯示 Screaming Frog 永遠看不到的受眾資料:

  • Instagram。 Meta 表示,它的創作者市集「can help brands easily find relevant creators」(可以幫助品牌輕鬆找到相關創作者),而且「Brands can also search for creators, filtering for creator and audience attributes.」(品牌也可以搜尋創作者,並依創作者和受眾屬性篩選。)透過 Meta Business Suite 加入。
  • TikTok。 TikTok 說明中心表示,創作者探索工具就在「directly within your TikTok One account」(直接位於您的 TikTok One 帳戶中);其中一些,例如 AI 搜尋,「available to select customers」(僅開放給部分客戶)。
  • YouTube。 2026 年 3 月,YouTube 把 BrandConnect 更名為 YouTube Creator Partnerships,廣告主在 Google Ads 中使用。

對在地商家來說,最好的創作者往往靠人工找到:在 Google 上搜尋 `[your city] food blog` 或 `[your city] mom blog`,看看誰已經在標記您,並問問客戶追蹤哪些在地帳號。如果創作者有網站,把網址記下來。這份名單就是 Screaming Frog 要檢查的內容。

第 1 步:列出每位創作者的網站頁面

對每位有網站的創作者,把三四個網址複製到一個文字檔裡:

  • 首頁
  • 「關於」、聯絡或「work with me」(合作)頁面
  • 一兩篇有業配或收到贈品的文章(看頂部附近是否寫有「sponsored」、「in partnership with」或「#ad」)

只有社群帳號和一個連結整合頁(link-in-bio)的創作者不需要爬取,直接在 App 裡看他們的個人檔案。

第 2 步:用 List 模式爬取名單

  1. 下載 SEO Spider(Windows、Mac 或 Ubuntu)並打開。
  2. 選擇 Mode > List,按 Upload,貼上您的網址,每個都加上 https://。
  3. 按 Start。Screaming Frog 的 List 模式指南說,爬取深度設為 0,所以「only the URLs uploaded will be crawled」(只會爬取上傳的網址)。40 位創作者每人 4 個頁面就是 160 個網址,在免費額度之內。
  4. 如果某個網站回傳 403(禁止存取)或 429(請求過多),表示它拒絕爬蟲。改用瀏覽器打開。

第 3 步:檢查相關性、維護情況和是否誠實

在上方視窗中逐一點選頁面,查看各個分頁。

您看到的在哪裡代表什麼
頁面標題和 H1 標題與您的產業或城市有關Page Titles、H1 分頁他們的讀者可能就是您的客戶
標題在互不相關的主題之間跳來跳去Page Titles 分頁幾乎沒有真實受眾;常常是賣文章的網站
大量 404 錯誤(頁面不存在)Response Codes 分頁網站疏於維護;優先順序較低
業配文章的連結標註了 sponsored 或 nofollowOutlinks 分頁的 Follow 和 Rel 欄創作者遵守 Google 對付費連結的規則
業配文章用精確關鍵字做連結,而且沒有揭露Outlinks 分頁,再加上閱讀文章這對您也是風險,不只是對他們(見下文)

Google 要求發布者「Mark links that are advertisements or paid placements (commonly called paid links) with the sponsored value」(用 sponsored 值標註屬於廣告或付費刊登的連結,通常稱為付費連結)(Google Search Central: Qualify your outbound links)。這樣做的創作者習慣了規範地和品牌合作。

為什麼揭露也是您的事

如果您付錢或送贈品給創作者,法律要求文章說明這一點。美國聯邦貿易委員會(FTC)要求網紅「Disclose when you have any financial, employment, personal, or family relationship with a brand」(與品牌有任何財務、僱傭、個人或家庭關係時都要揭露),像「advertisement」、「ad」和「sponsored」這樣的字都可以。它也讓品牌承擔責任:

"Your company is ultimately responsible for what others do on your behalf." (FTC: Endorsement Guides, what people are asking) 譯文:「您的公司最終要為他人代表您所做的事負責。」

加拿大也差不多。加拿大競爭局(Competition Bureau)2018 年的摘要說「advertisers may be liable for representations made through influencers」(廣告主可能要為透過網紅做出的陳述負責),並要求品牌「Ensure that influencers clearly disclose material connections」(確保網紅清楚揭露重要關聯)。

所以在聯絡創作者之前,先看看他們過去的業配文章。如果沒有一篇說明收了錢或贈品,您的那篇大概也一樣。

要保存紀錄,在任一分頁按 Export;List 模式指南說它「on any tab as usual」(在任何分頁都照常可用)。每位創作者再記下一篇近期文章,聯絡時可以提到。

第 4 步:從名單中擷取聯絡方式(付費授權)

有付費授權時,Custom Extraction(Configuration > Custom > Extraction)會為每個頁面填一欄資料。Screaming Frog 的擷取教學提供了用於電子郵件連結的 `//a[starts-with(@href, 'mailto')]`;換成 `//a[contains(@href, 'instagram.com')]/@href`,就能用同樣的方法蒐集 Instagram 個人檔案連結。教學提到您需要「have a licence to access the custom extraction feature」(擁有付費授權才能使用自訂擷取功能)。

沒有付費授權,就打開每個聯絡頁面複製資訊。20 位創作者用不到一個小時。

使用創作者為品牌合作公開的電子郵件或表單。把能找到的地址全部批次蒐集,就開始觸及反垃圾郵件法了:

  • 美國。 FTC 的 CAN-SPAM 指南把「harvesting email addresses」(蒐集電子郵件地址)列為可能招致額外處罰(包括監禁)的行為,並說「The law makes no exception for business-to-business email.」(該法對企業之間的電子郵件沒有例外。)
  • 加拿大。 《加拿大反垃圾郵件法》(CASL)要求寄送商業電子郵件前取得同意。公開的地址只有在沒有附帶拒絕主動來信的聲明、而且您的郵件與對方的業務職責相關時,才算數(CASL 第 10(9)(b) 條)。「work with me」頁面本身就是在邀請合作提案。

更多內容:在反垃圾郵件法範圍內做陌生開發和 CASL 同意。

您到底需不需要 Screaming Frog?

通常不需要。和五到十位在地創作者合作的小型商家,一個下午就能在瀏覽器裡把每個網站看完。當您有 30 個或更多創作者網站要比較時,免費爬蟲才有幫助。只有當您要審查幾百個網站、並希望自動擷取聯絡方式連結時,付費授權才划算。

範例

以下為示意案例,數字為虛構。

卡加利的一家麵包店(加幣)

它在 Instagram 上找到 25 位在地美食創作者,其中 12 位有部落格。對 45 個網址做免費爬取後發現,有三個部落格主要發賭場和貸款文章。剩下的九位中,有六位揭露過以往的業配文章。麵包店給這六位每人送一個價值 $50 的禮盒,並要求發文時加上「#ad」。

丹佛的一家冷暖空調公司(美元)

一位居家裝修部落客一篇文章要價 $400。爬取顯示,她的業配文章外部連結都帶 rel="sponsored",開頭寫著「In partnership with」。公司決定和她合作。

一家牙科診所

一位育兒部落客在 Instagram 上有 40,000 名粉絲,但沒有網站。診所跳過爬取,直接在 App 裡查看她以往的合作文章。

常見問題

Screaming Frog 能抓取 Instagram 粉絲或電子郵件嗎?

不能。Instagram 的 robots.txt 封鎖所有未點名的爬蟲,而 Screaming Frog 預設遵守 robots.txt。請使用 Instagram 的創作者市集,或創作者自己公開的聯絡方式。

用 Screaming Frog 做網紅調查免費嗎?

免費版最多爬取 500 個網址,可以顯示標題、標題標籤、回應代碼和外部連結。Custom Search 和 Custom Extraction 需要每年 £199 的付費授權。

能用 Screaming Frog 衡量網紅的受眾嗎?

不能。它看到的是網站頁面,不是粉絲或互動。請向創作者索取平台洞察資料,或使用平台的創作者市集。

業配部落格文章可以用一般連結連到我嗎?

不可以。Google 要求付費連結標註為 sponsored。文章仍然可以為您帶來訪客和客戶;用加上標記的連結來追蹤他們(網紅成效追蹤)。

您的情況不同?

繼續閱讀

下一篇用 Content Explorer 找客座文章:找網站,也找題目如何用 Ahrefs Content Explorer 找客座文章網站、未加連結的提及和競爭小的題目,哪個方案包含它,以及免費的做法。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Screaming Frog: SEO Spider pricing
  2. Screaming Frog: SEO Spider user guide, Configuration
  3. Screaming Frog: SEO Spider user guide, Tabs
  4. Screaming Frog: How to use List mode
  5. Screaming Frog: Web scraping and data extraction tutorial
  6. Instagram: robots.txt
  7. TikTok: robots.txt
  8. Meta for Business: Instagram's creator marketplace expansion (2024)
  9. TikTok Business Help Center: Find creators with the creator leaderboard
  10. YouTube Official Blog: brand and creator partnerships (March 2026)
  11. FTC: Disclosures 101 for Social Media Influencers
  12. FTC: Endorsement Guides, what people are asking
  13. Competition Bureau Canada: Deceptive Marketing Practices Digest, Volume 4 (2018)
  14. Google Search Central: Qualify your outbound links to Google
  15. FTC: CAN-SPAM Act, a compliance guide for business (archived 2026-10-31)
  16. Justice Laws Website: Canada's Anti-Spam Legislation, section 10