產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

用 Screaming Frog 做內容聯合發布:檢查合作夥伴頁面

更新於 · 閱讀約 7 分鐘

簡短回答 把轉載了您文章的合作夥伴頁面貼進 Screaming Frog 的 List 模式,免費版最多 500 個網址。查看 Directives 分頁:每份轉載都應顯示 noindex,這是 Google 對轉載內容的建議做法。再檢查轉載頁是否連結到您的原文。挑選要轉載的文章時,爬取您的部落格,保留可被收錄、而且已經帶來搜尋點擊的頁面。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

合作夥伴轉載您的文章,頁面上應該有什麼?

兩樣東西:一個 noindex 標籤,讓 Google 不在搜尋結果中顯示他們的轉載;以及一個看得見、指向您原文的連結。內容聯合發布(content syndication)是指另一個網站轉載您已經發布過的文章。風險不在於懲罰:Google 寫道,除非重複內容是為了欺騙,"it's unlikely that one of those ways will be a penalty"(這些方式都不太可能招致懲罰)(Google Search Central Blog, 2008)。真正的風險是,較大網站上的轉載出現在搜尋結果裡,取代了您的原文。

Google 目前的建議已經說清楚合作夥伴該用哪種標籤:

"The canonical link element is not recommended for those who want to avoid duplication by syndication partners, because the pages are often very different. The most effective solution is for partners to block indexing of your content." (Google Search Central: Fix canonicalization issues) 譯文:「對於想避免聯合發布合作夥伴造成重複內容的人,不建議使用 canonical 連結元素,因為這些頁面往往差異很大。最有效的辦法是讓合作夥伴阻止您的內容被收錄。」

canonical 標籤是頁面程式碼中的一行,用來指明該頁面的「主要」版本。很多聯合發布清單仍然要您請合作夥伴加一個指向您網站的 canonical。Google 已不再推薦用它來做這件事。noindex 是告訴搜尋引擎不要收錄某個頁面的標籤。Google 表示,它可以作為 robots meta 標籤放在頁面程式碼裡,也可以作為 X-Robots-Tag 標頭放在伺服器回應裡(Google Search Central: Block Search indexing with noindex)。

合作夥伴轉載頁上的項目正常有問題
Noindex有沒有:他們的轉載可能和您的原文競爭
Canonical指向您的原文;或沒有,只要有 noindex指向他們自己的頁面,且沒有 noindex
指向您的連結一個指向您原文、能正常開啟的連結沒有連結,或只連結到您的首頁
頁面狀態正常載入(狀態碼 200)重新導向或錯誤:文章被移走或刪除了

做這件事需要 Screaming Frog 嗎?

如果只有一兩個合作夥伴,不需要:在瀏覽器裡開啟他們的頁面,檢視原始碼,搜尋 "noindex" 和 "canonical" 即可。Screaming Frog 的 SEO Spider 是一個桌面程式,像 Google 的爬蟲一樣讀取網頁。當您有十幾份或更多轉載,或者每隔幾個月要複查一次時,它才值得用。

免費版付費授權
價格$0每位使用者每年 £199;以美元計為 $279,2026 年 11 月
每次爬取的網址數500沒有固定上限
List 模式、Directives 和 Canonicals 分頁有有
每個頁面的 Outlinks有有
自訂搜尋(「這個頁面有沒有我的連結?」)無有
JavaScript 算繪無有
Search Console 和 Analytics 資料無有
儲存爬取、比較兩次爬取、排程爬取無有

價格和僅限付費的功能來自 Screaming Frog 的價格頁,2026 年 11 月。價格頁以英鎊、美元和歐元標價;沒有加幣價格。

如何逐步檢查合作夥伴頁面

以下步驟依據 2026 年 11 月的 Screaming Frog 使用指南。

  1. 列出每一份轉載。 用一張試算表記下每個合作夥伴及其轉載頁的確切網址。沒有的話,向合作夥伴索取。
  2. 切換到 List 模式。 選擇 Mode > List。使用指南說,之後可以 "either paste or upload a list of specific URLs to crawl"(貼上或上傳要爬取的特定網址清單)。貼上您的清單,點擊 Start。免費版最多可處理 500 個網址。
  3. 查看 Response Codes。 不是 200 的,代表轉載被移走或已不存在。如果出現很多 403 或 429,代表網站在拒絕爬蟲;這些頁面請手動檢查。
  4. 查看 Directives 分頁的 Noindex 篩選。 這個分頁 "shows data related to the meta robots tag, and the X-Robots-Tag in the HTTP Header"(顯示與 meta robots 標籤以及 HTTP 標頭中 X-Robots-Tag 相關的資料),所以兩種設定 noindex 的方式都查得到。每一份轉載都應該出現在這裡。
  5. 查看 Canonicals 分頁。 "Canonicalised" 表示該頁面把另一個網址指定為主要版本;確認那是您的網址。"Self Referencing" 表示該頁面指向它自己。
  6. 檢查回連。 在上方視窗點擊一份轉載,再點擊下方的 Outlinks 分頁,找您文章的網址。有授權的話,Configuration > Custom > Search 可以批次完成:設定為尋找您的網址,然後篩選 "does not contain"(不包含)它的頁面。
  7. 匯出並存檔。 把每個分頁匯出為試算表,並記下日期。免費版無法儲存爬取結果,所以匯出的檔案就是您的紀錄。

有兩個限制。免費版讀取的是伺服器送出的頁面程式碼,不執行 JavaScript;如果合作夥伴網站用 JavaScript 加入標籤,請手動確認。另外,Screaming Frog 遵守 robots.txt(告訴爬蟲哪些頁面不要抓取的檔案),所以合作夥伴可以封鎖它。

結果代表什麼,該向合作夥伴要求什麼

大部分問題,一封要求加 noindex 的郵件就能解決。

您看到的代表什麼該要求什麼
有 noindex,有指向您文章的連結做得對不需要
沒有 noindex,canonical 指向您的文章舊做法,Google 不推薦用於聯合發布加上 noindex
沒有 noindex,canonical 指向他們自己的頁面他們的轉載可能排在您原文的位置加上 noindex
頁面用 robots.txt 封鎖,而不是 noindexGoogle 仍可能收錄它解除封鎖並加上 noindex
沒有指向您的連結讀者找不到您的網站加一個「原文發布於」連結

robots.txt 這一列常常讓人意外。Google 表示,如果頁面被 robots.txt 封鎖,"the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it"(爬蟲永遠看不到 noindex 規則,頁面仍可能出現在搜尋結果中,例如有其他頁面連結到它時)(Google Search Central: Block Search indexing with noindex)。

如果合作夥伴不肯加 noindex,就看看他們的轉載是否已經取代您的原文出現在搜尋中。在 Search Console 裡,對您自己的文章使用網址審查工具,可以看到 Google 把哪個頁面當作主要版本(Google Search Central: Fix canonicalization issues)。如何解讀這份報告:網頁索引和網址審查。

您的哪些文章適合聯合發布?

分享 Google 已經收錄、而且已經帶來點擊的文章。如果 Google 還沒確定您的原文,大網站上的轉載更有可能先被顯示。先用 Screaming Frog 在您自己的部落格上篩選,再用搜尋資料排序。

  1. 爬取您的部落格。 輸入部落格網址,點擊 Start。
  2. 保留可被收錄的頁面。 在 Internal 分頁按 Indexability 排序。去掉標為 Non-Indexable 的頁面;Indexability Status 一欄會列出原因,例如 "canonicalised to another URL"(canonical 指向另一個網址)。
  3. 保留 canonical 指向自身的頁面。 在 Canonicals 分頁,您的原文應該位於 Self Referencing 之下,把自己指定為主要版本。
  4. 先修復失效連結。 Response Codes 中的 Client Error (4xx) 會列出無效的連結。合作夥伴轉載時會連同連結一起複製;寄出之前先修好。
  5. 按搜尋點擊排序。 開啟 Search Console 的成效報告,在「網頁」分頁按點擊次數排序。付費授權可以把這些數字匯入爬取結果;免費的做法是用 Search Console 本身的匯出功能(小型企業如何使用 Search Console)。
  6. 優先選長期有效的主題。 清單或教學放在合作夥伴網站上能有用好幾年;新聞類文章不行。

範例

以下為示意案例,數字為虛構。

奧勒岡州一家園藝造景公司(美元)

老闆寫的春季草坪指南被四個地區性居家園藝網站轉載。他把四個網址貼進免費版。兩個顯示 noindex 並有回連。一個有指向他頁面的 canonical,但沒有 noindex;另一個兩樣都沒有。他寫信給這兩家的編輯,要求加 noindex。花費:$0。

一家有 40 份轉載的軟體經銷商(美元)

行銷負責人有 40 篇轉載文章,分布在 12 個網站上。她買了 $279 的授權,設定自訂搜尋尋找她的網域,列出 6 份沒有回連的轉載。下一季,她重新執行儲存的爬取,並比較兩次結果。

多倫多一家會計師事務所(加幣)

事務所用免費版爬取自己的部落格:180 個頁面。保留 120 篇可被收錄、canonical 指向自身的文章,再從中挑出 Search Console 裡點擊最多的 5 篇。事務所把這 5 篇寄給一個省級商業協會的電子報網站,要求加 noindex 和連結。花費:$0。

常見問題

合作夥伴該用 canonical 還是 noindex?

Noindex。Google 表示不推薦在聯合發布中使用 canonical 標籤,最好的辦法是讓合作夥伴阻止您的內容被收錄。

聯合發布的轉載會讓我的網站受懲罰嗎?

註明出處的一般轉載不會。實際的風險是合作夥伴的轉載取代您的原文出現在搜尋中。

我可以不經同意就爬取合作夥伴的網站嗎?

Screaming Frog 預設遵守 robots.txt,免費版使用 5 個並行請求。在 List 模式下只爬取刊登您文章的幾個頁面,負載很小。

Google 新聞對轉載的處理不同嗎?

是的。只針對 Googlebot-News 的 noindex 會讓轉載不出現在 Google 新聞中,但仍會出現在搜尋中。請要求使用一般的 noindex(Google News Publisher Center Help)。

您的情況不同?

繼續閱讀

下一篇用 Screaming Frog 做失效連結建置:找出可替換的失效連結如何用 Screaming Frog 爬取資源頁,找出您能替換的失效外部連結:清單模式設定、如何看 4xx 結果、免費版與付費授權的差別。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Search Central: Fix canonicalization issues
  2. Google Search Central: Block Search indexing with noindex
  3. Google Search Central Blog: Demystifying the duplicate content penalty (2008)
  4. Google News Publisher Center Help: Avoid article duplication in Google News
  5. Screaming Frog: SEO Spider pricing
  6. Screaming Frog: SEO Spider user guide, General
  7. Screaming Frog: SEO Spider user guide, Tabs
  8. Screaming Frog: SEO Spider user guide, Configuration