重复内容:SEO 中如何发现并修复
简短回答 重复内容不会被惩罚。Google 会把同一页面的多个副本归为一组,只显示其中一个,而且可能选中您不想要的版本。用 Search Console 的网址检查工具找出重复页面。副本不该存在时用 301 重定向修复,副本必须保留时用规范标签。不要为此使用 robots.txt 或 noindex。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话重复内容对 SEO 有害吗?
没有大多数人担心的那么严重。普通的重复内容不会受到惩罚。Google 在自己的文档中明确说过:
"Some duplicate content on a site is normal and it's not a violation of Google's spam policies." (Google Search Central: What is canonicalization) 译文:“网站上存在一些重复内容是正常的,并不违反 Google 的垃圾内容政策。”
实际情况是:Google 发现看起来一样的页面,把它们归为一组,然后挑一个显示在搜索结果中。被选中的页面就是规范网址(canonical)。其他页面被抓取的频率会降低,也很少出现在结果中(同一页面)。
由此带来三个真正的代价:
| 问题 | 为什么重要 |
|---|---|
| Google 可能显示错误的版本 | 旧的 `http://` 页面,或末尾带跟踪代码的链接,可能取代您干净的服务页面出现在结果中 |
| 权重被分散 | 其他网站的链接指向不同版本。指定一个规范网址后,Google 可以把这些权重合并到一个页面上(Google Search Central) |
| 数据变得混乱 | 访问量分散在多个网址上,很难看清单个页面的效果(同一页面) |
唯一真正有害的情况:复制其他网站的内容来争取排名。Google 的垃圾内容政策把转载他人内容而“without adding any original content or value”(不添加任何原创内容或价值)列为滥用性抓取(Google Search Central: Spam policies)。那是内容问题,不是技术问题。
小企业网站上的重复内容是怎么产生的?
大多来自网站设置,而不是文字本身:同一个页面能通过多个地址(网址)打开。
| 原因 | 例子 | 常见修复 |
|---|---|---|
| 安全版和旧版都能打开 | `http://` 和 `https://`,带和不带 `www` | 全部 301 重定向到一个 |
| 跟踪或排序代码 | 广告点击带来的 `/drain-cleaning/?gclid=123` | 在干净网址上加规范标签 |
| 大写字母或末尾斜杠 | `/Roof-Repair` 和 `/roof-repair/` | 重定向,并且只用一种写法链接 |
| 测试或演示副本未关闭 | `staging.yoursite.com` 被 Google 收录 | 设置密码保护 |
| 改版后新旧页面并存 | `/services.html` 和 `/plumbing/` 内容相同 | 从旧页面 301 重定向到新页面 |
| 同语言的不同国家网站 | 美国页面和加拿大页面内容一样 | 规范标签加 hreflang |
Google 列出的也是这几类:协议、地区、设备、排序和筛选,以及“accidental variants”(意外产生的变体),比如对抓取工具开放的演示网站(Google Search Central)。Google 还说网址区分大小写,所以在 Google 看来 `/Roof-Repair` 和 `/roof-repair` 是两个页面(Google Search Central: URL structure)。
如果您同时服务美国和加拿大,而且两边页面几乎一样,Google 称之为地区性重复内容。它建议同时使用规范标签和 hreflang(标明页面面向哪个国家或语言的标签),让每个国家显示正确的页面(Google Search Central)。参见多语言和多地区网站。
怎样找出网站上的重复内容?
先看 Google 自己怎么看,用免费的 Google Search Console。
- 对关键页面使用网址检查(URL Inspection)。 粘贴首页和每个主要服务页面,它会显示 Google 选了哪个网址作为规范网址。Google 的排查指南就是从这里开始的(Google Search Central: Fix canonicalization issues)。
- 网页索引编制(Page indexing)报告。 查找与重复相关的状态。“Duplicate without user-selected canonical”(重复网页,用户未选定规范网页)表示 Google 自己选了一个版本;“Duplicate, Google chose different canonical than user”(重复网页,Google 选择的规范网页与用户指定的不同)表示它没有采用您指定的(Search Console Help: Page indexing report)。各状态的含义见我们的网页索引状态指南。
- 在浏览器中输入网址的四种写法:`http://`、`https://`、带和不带 `www`。四种都应跳转到同一个地址。如果有两个停在原地不跳转,就存在重复。
- 在 Google 搜索 `site:yourdomain.com`。 留意同一标题出现两次,或带 `?` 代码的网址。
- 给页面中的一句话加上引号搜索。 如果其他网站出现同一句话,要么是他们抄了您,要么是您用了供应商的文字。
怎样修复重复内容?
根据副本是否需要继续能打开来选择。
| 方法 | 适用情况 | 效力 |
|---|---|---|
| 301 重定向 | 副本不该存在(旧页面、`http`、不带 `www`) | 强 |
| 规范标签 | 副本必须继续能打开(跟踪代码、排序方式、打印版) | 强 |
| 站点地图中只列主网址 | 任何网站的辅助信号 | 弱 |
| 让页面真正不同 | 它们确实是不同的服务或地区 | 彻底区分开 |
Google 把重定向和规范标签列为强信号,把站点地图列为弱信号,并说组合使用效果更好(Google Search Central: How to specify a canonical URL)。不过,您的选择只是一个提示:
"indicating a canonical preference is a hint, not a rule." (Google Search Central: What is canonicalization) 译文:“指定首选规范网址只是一个提示,而不是规则。”
另外,在整个网站上都链接到主版本。Google 说一致的内部链接有助于它理解您的偏好(与上面各方法同一页面)。
怎样添加规范标签?
在每个副本代码的 head 部分加一行,指向主页面。它是一个 link 元素,`rel="canonical"`,`href` 设为主页面的地址,例如 `https://www.yoursite.com/drain-cleaning/`。
- 使用完整地址,包括 `https://`。Google 支持简短路径,但不推荐。
- 在主页面上也加同样的标签,指向它自己。
- Google 只读取 head 部分中的这个标签。
这三条规则都来自 Google 的规范网址指南(Google Search Central)。在 Wix、WordPress 或 Blogger 上您可能无法编辑代码:Google 说您的平台可能会通过 SEO 设置页面来设定规范网址(同一页面)。如果您正在选平台,参见 Wix、Squarespace 和 WordPress 的比较。
修复之后,Google 说页面可能会继续被归为重复内容“for up to two weeks”(最长两周)。之后您可以对最重要的页面在网址检查中使用“请求编入索引”(Request Indexing)(Google Search Central: Fix canonicalization issues)。
让重复内容问题更糟的错误
| 错误 | Google 怎么说 |
|---|---|
| 用 robots.txt 屏蔽副本 | 不要这样做。被屏蔽的网址仍可能被收录,只是没有内容 |
| 给副本加 noindex | 不推荐:这会让该页面完全无法出现在搜索中。请用规范标签 |
| 使用网址移除工具 | 它会隐藏该网址的所有版本 |
| 在不同地方指定不同的规范网址 | 站点地图和标签必须一致 |
| 把列表的第 2、3、4 页都指向第 1 页 | 系列中的每一页都应使用自己的规范网址 |
| 寻找网址参数(URL Parameters)设置 | Google 已于 2022 年停用;现在它会自行处理 `?sort=` 这类代码 |
前四条来自 Google 的规范网址指南(Google Search Central)。分页一条来自其分页指南(Google Search Central)。网址参数工具的停用于 2022 年 3 月宣布(Google Search Central Blog)。
如果别的网站抄了我的内容,或转载我的文章怎么办?
如果您允许合作伙伴转载您的文章,请他们不要让转载的副本被 Google 收录:
"The canonical link element is not recommended for those who want to avoid duplication by syndication partners, because the pages are often very different. The most effective solution is for partners to block indexing of your content." (Google Search Central: Fix canonicalization issues) 译文:“如果想避免与内容转载合作伙伴之间的重复,不建议使用规范链接元素,因为这些页面往往差别很大。最有效的办法是让合作伙伴阻止您的内容被编入索引。”
如果有网站未经许可抄袭了您,Google 说您可以要求对方的托管服务商删除,并通过《数字千年版权法》(DMCA)请求让 Google 移除该页面(同一页面)。Google 的移除步骤见从 Google 移除信息。
示例
广告链接出现在搜索结果中的水管工
网址检查显示 Google 选了 `/drain-cleaning/?gclid=...` 作为规范网址。老板加了一个指向 `/drain-cleaning/` 的规范标签,并在菜单中链接到这个干净的地址。几周后,网址检查显示 Google 选中的是干净网址。
网站改版后的牙医
旧的 `/services.html` 和新的 `/teeth-whitening/` 都能打开,内容相同。从旧页面 301 重定向到新页面,既消除了副本,也把旧页面的链接权重转了过去。
同时服务西雅图和温哥华的清洁公司
美国和加拿大的页面一字不差。每个页面都加上指向自己的规范标签,并用 hreflang 标签分别标明 `en-us` 和 `en-ca`,这样每个国家看到的都是自己的页面。
常见问题
Google 会惩罚重复内容吗?
自己网站上的普通重复内容不会。Google 说这很正常,不违反垃圾内容政策。复制其他网站的内容来争取排名则不同:那属于其抓取滥用政策的范围。
应该用 301 重定向还是规范标签?
没人需要副本时用重定向。副本必须继续能打开时用规范标签,比如带跟踪代码的页面。
为什么 Google 忽略了我的规范标签?
因为它只是提示。如果信号相互冲突,比如链接、重定向或站点地图指向别处,Google 可能会选另一个页面。在网址检查中看看 Google 选了哪个,然后让所有信号保持一致。
不同城镇的相似服务页面算重复内容吗?
如果只有城镇名称不同,Google 可能会把它们归为一组,只显示一个。主要为了抢占城镇搜索而做的页面还可能被算作门页(doorway pages);参见城市页面。
多久检查一次?
在网站改版、更换平台或迁移域名之后,以及网页索引编制报告显示新的重复页面时检查。小网站很少需要更频繁。
您的情况不同?
- 好几个旧页面讲同一个主题? 合并后做重定向:更新、合并或删除旧页面。
- 新网站上线后流量下降? 重复内容和缺少重定向是常见原因:改版后流量下降。
- 网店有颜色和尺寸变体? 参见电商 SEO。
- 刚接触 Search Console? 先从需要看的报告开始。
- 想找人帮您做这些检查? 参见 SEO。