产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

用 Screaming Frog 做内容联合发布:检查合作方页面

更新于 · 阅读约 7 分钟

简短回答 把转载了您文章的合作方页面贴进 Screaming Frog 的 List 模式,免费版最多 500 个网址。查看 Directives 标签页:每份转载都应显示 noindex,这是 Google 对转载内容的建议做法。再检查转载页是否链接到您的原文。挑选要转载的文章时,爬取您的博客,保留可被收录、并且已经带来搜索点击的页面。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

合作方转载您的文章,页面上应该有什么?

两样东西:一个 noindex 标签,让 Google 不在搜索结果中显示他们的转载;以及一个看得见的、指向您原文的链接。内容联合发布(content syndication)是指另一个网站转载您已经发布过的文章。风险不在于惩罚:Google 写道,除非重复内容是为了欺骗,“it's unlikely that one of those ways will be a penalty”(这些方式都不太可能招致惩罚)(Google Search Central Blog, 2008)。真正的风险是,更大网站上的转载出现在搜索结果里,取代了您的原文。

Google 目前的建议已经说清楚合作方该用哪种标签:

"The canonical link element is not recommended for those who want to avoid duplication by syndication partners, because the pages are often very different. The most effective solution is for partners to block indexing of your content." (Google Search Central: Fix canonicalization issues) 译文:“对于想避免联合发布合作方造成重复内容的人,不建议使用 canonical 链接元素,因为这些页面往往差别很大。最有效的办法是让合作方阻止您的内容被收录。”

canonical 标签是页面代码中的一行,用来指明该页面的“主”版本。很多联合发布清单仍然让您要求合作方加一个指向您网站的 canonical。Google 已不再推荐用它来做这件事。noindex 是告诉搜索引擎不要收录某个页面的标签。Google 表示,它可以作为 robots meta 标签放在页面代码里,也可以作为 X-Robots-Tag 标头放在服务器响应里(Google Search Central: Block Search indexing with noindex)。

合作方转载页上的项目正常有问题
Noindex有没有:他们的转载可能和您的原文竞争
Canonical指向您的原文;或没有,只要有 noindex指向他们自己的页面,且没有 noindex
指向您的链接一个指向您原文、能正常打开的链接没有链接,或只链接到您的首页
页面状态正常打开(状态码 200)重定向或报错:文章被移走或删除了

做这件事需要 Screaming Frog 吗?

如果只有一两个合作方,不需要:在浏览器里打开他们的页面,查看源代码,搜索 "noindex" 和 "canonical" 即可。Screaming Frog 的 SEO Spider 是一个桌面程序,像 Google 的爬虫一样读取网页。当您有十几份或更多转载,或者每隔几个月要复查一次时,它才值得用。

免费版付费许可证
价格$0每位用户每年 £199;按美元计为 $279,2026 年 11 月
每次爬取的网址数500没有固定上限
List 模式、Directives 和 Canonicals 标签页有有
每个页面的 Outlinks有有
自定义搜索(“这个页面有没有我的链接?”)无有
JavaScript 渲染无有
Search Console 和 Analytics 数据无有
保存爬取、比较两次爬取、定时爬取无有

价格和仅限付费的功能来自 Screaming Frog 的价格页,2026 年 11 月。价格页以英镑、美元和欧元标价;没有加元价格。

如何逐步检查合作方页面

以下步骤依据 2026 年 11 月的 Screaming Frog 用户指南。

  1. 列出每一份转载。 用一张表格记下每个合作方及其转载页的准确网址。没有的话,向合作方要。
  2. 切换到 List 模式。 选择 Mode > List。用户指南说,之后可以 "either paste or upload a list of specific URLs to crawl"(粘贴或上传要爬取的具体网址列表)。粘贴您的列表,点击 Start。免费版最多可处理 500 个网址。
  3. 查看 Response Codes。 不是 200 的,说明转载被移走或已不存在。如果出现很多 403 或 429,说明网站在拒绝爬虫;这些页面请手动检查。
  4. 查看 Directives 标签页的 Noindex 筛选。 这个标签页 "shows data related to the meta robots tag, and the X-Robots-Tag in the HTTP Header"(显示与 meta robots 标签以及 HTTP 标头中 X-Robots-Tag 相关的数据),所以两种设置 noindex 的方式都能查到。每一份转载都应该出现在这里。
  5. 查看 Canonicals 标签页。 "Canonicalised" 表示该页面把另一个网址指定为主版本;确认那是您的网址。"Self Referencing" 表示该页面指向它自己。
  6. 检查回链。 在上方窗口点击一份转载,再点击下方的 Outlinks 标签页,找您文章的网址。有许可证的话,Configuration > Custom > Search 可以批量完成:设置为查找您的网址,然后筛选 "does not contain"(不包含)它的页面。
  7. 导出并存档。 把每个标签页导出为电子表格,并记下日期。免费版无法保存爬取结果,所以导出的文件就是您的记录。

有两个限制。免费版读取的是服务器发出的页面代码,不运行 JavaScript;如果合作方网站用 JavaScript 添加标签,请手动确认。另外,Screaming Frog 遵守 robots.txt(告诉爬虫哪些页面不要抓取的文件),所以合作方可以屏蔽它。

结果说明什么,该向合作方要求什么

大部分问题,一封要求加 noindex 的邮件就能解决。

您看到的说明什么该要求什么
有 noindex,有指向您文章的链接做得对不需要
没有 noindex,canonical 指向您的文章旧做法,Google 不推荐用于联合发布加上 noindex
没有 noindex,canonical 指向他们自己的页面他们的转载可能排在您原文的位置加上 noindex
页面用 robots.txt 屏蔽,而不是 noindexGoogle 仍可能收录它取消屏蔽并加上 noindex
没有指向您的链接读者找不到您的网站加一个“原文发布于”链接

robots.txt 这一行常常让人意外。Google 表示,如果页面被 robots.txt 屏蔽,"the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it"(爬虫永远看不到 noindex 规则,页面仍可能出现在搜索结果中,例如有其他页面链接到它时)(Google Search Central: Block Search indexing with noindex)。

如果合作方不肯加 noindex,就看看他们的转载是否已经取代您的原文出现在搜索中。在 Search Console 里,对您自己的文章使用网址检查工具,可以看到 Google 把哪个页面当作主版本(Google Search Central: Fix canonicalization issues)。如何读这份报告:网页索引和网址检查。

您的哪些文章适合联合发布?

分享 Google 已经收录、并且已经带来点击的文章。如果 Google 还没确定您的原文,大网站上的转载更有可能先被显示。先用 Screaming Frog 在您自己的博客上筛选,再用搜索数据排序。

  1. 爬取您的博客。 输入博客网址,点击 Start。
  2. 保留可被收录的页面。 在 Internal 标签页按 Indexability 排序。去掉标为 Non-Indexable 的页面;Indexability Status 一栏会给出原因,例如 "canonicalised to another URL"(canonical 指向另一个网址)。
  3. 保留 canonical 指向自身的页面。 在 Canonicals 标签页,您的原文应该位于 Self Referencing 之下,把自己指定为主版本。
  4. 先修复失效链接。 Response Codes 中的 Client Error (4xx) 会列出无效的链接。合作方转载时会连同链接一起复制;发出去之前先修好。
  5. 按搜索点击排序。 打开 Search Console 的效果报告,在“网页”标签页按点击次数排序。付费许可证可以把这些数据导入爬取结果;免费的做法是用 Search Console 自己的导出功能(小企业如何使用 Search Console)。
  6. 优先选长期有效的主题。 清单或操作指南放在合作方网站上能有用好几年;新闻类文章不行。

示例

以下为示意案例,数字为编造。

俄勒冈州一家园林绿化公司(美元)

老板写的春季草坪指南被四个地区性家居园艺网站转载。他把四个网址贴进免费版。两个显示 noindex 并有回链。一个有指向他页面的 canonical,但没有 noindex;另一个两样都没有。他给这两家的编辑发邮件,要求加 noindex。花费:$0。

一家有 40 份转载的软件经销商(美元)

市场负责人有 40 篇转载文章,分布在 12 个网站上。她买了 $279 的许可证,设置自定义搜索查找她的域名,列出 6 份没有回链的转载。下一季度,她重新运行保存的爬取,并比较两次结果。

多伦多一家会计师事务所(加元)

事务所用免费版爬取自己的博客:180 个页面。保留 120 篇可被收录、canonical 指向自身的文章,再从中挑出 Search Console 里点击最多的 5 篇。事务所把这 5 篇发给一个省级商业协会的通讯网站,要求加 noindex 和链接。花费:$0。

常见问题

合作方该用 canonical 还是 noindex?

Noindex。Google 表示不推荐在联合发布中使用 canonical 标签,最好的办法是让合作方阻止您的内容被收录。

联合发布的转载会让我的网站受惩罚吗?

注明出处的正常转载不会。实际的风险是合作方的转载取代您的原文出现在搜索中。

我可以不经同意就爬取合作方的网站吗?

Screaming Frog 默认遵守 robots.txt,免费版使用 5 个并行请求。在 List 模式下只爬取刊登您文章的几个页面,负载很小。

Google 新闻对转载的处理不同吗?

是的。只针对 Googlebot-News 的 noindex 会让转载不出现在 Google 新闻中,但仍会出现在搜索中。请要求使用普通的 noindex(Google News Publisher Center Help)。

您的情况不同?

继续阅读

下一篇用 Screaming Frog 做失效链接建设:找出可替换的失效链接如何用 Screaming Frog 爬取资源页,找出您能替换的失效外部链接:列表模式设置、如何看 4xx 结果、免费版与付费授权的区别。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Search Central: Fix canonicalization issues
  2. Google Search Central: Block Search indexing with noindex
  3. Google Search Central Blog: Demystifying the duplicate content penalty (2008)
  4. Google News Publisher Center Help: Avoid article duplication in Google News
  5. Screaming Frog: SEO Spider pricing
  6. Screaming Frog: SEO Spider user guide, General
  7. Screaming Frog: SEO Spider user guide, Tabs
  8. Screaming Frog: SEO Spider user guide, Configuration