产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

noindex 误设:一个设置就能让 Google 找不到您的网站

更新于 · 阅读约 7 分钟

简短回答 意外的 noindex 几乎总是来自一个忘了关的开关:WordPress 的“建议搜索引擎不索引本站点”复选框、Wix 或 Squarespace 的隐藏开关、SEO 插件的某项设置、原样上线的测试网站,或服务器响应头。用 Search Console 的网址检查找到它,关掉,确认标记已消失,再请求编入索引。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

一个标记怎么能隐藏整个网站?

noindex 是一条简短的指令,告诉搜索引擎“不要收录这个页面”。它要么写在页面代码里(robots meta 标记),要么写在服务器随页面发送的响应里(`X-Robots-Tag` 响应头)。Google 对两者一视同仁。Google 一读到它,页面就消失了:

"Google will drop that page entirely from Google Search results, regardless of whether other sites link to it." (Google Search Central: Block Search indexing with noindex) 译文:“Google 会将该页面从 Google 搜索结果中完全移除,无论是否有其他网站链接到该页面。”

把这条指令放进共用模板,每个页面都会带上它。大多数老板从没亲手写过它,是某个设置加上的。解决办法就是找出是哪一个。

意外 noindex 的常见来源

位置怎么来的怎样撤销
WordPress,设置 → 阅读建站时勾选了“建议搜索引擎不索引本站点”(Discourage search engines from indexing this site)取消勾选并保存
SEO 插件(如 Yoast)整个内容类型(如“页面”或“服务”)被设为不出现在搜索中重新打开它的搜索开关
Wix 网站设置“Let search engines index your site”(允许搜索引擎索引您的网站)处于关闭状态在 SEO 设置中打开
Wix 或 Squarespace 页面设置某个页面被隐藏;在 Squarespace 上,隐藏博客或商店页面也会隐藏其中所有文章或商品把该页面的开关改回来
测试网站被当作正式网站上线设计师在建站期间屏蔽了 Google,屏蔽随网站一起上线了在所有加过的地方删掉
服务器或主机响应头服务器配置里有一条 `X-Robots-Tag: noindex` 规则,原本常是给 PDF 或测试副本用的请主机商或开发人员删除这条规则
粘贴到全站页头的代码有人在页头代码框里“暂时”加了一行 noindex从页头代码中删掉

WordPress:一个复选框

据 WordPress 的文档,设置 → 阅读下的“建议搜索引擎不索引本站点”复选框会给网站每个页面加上 noindex, nofollow 标记。建站时它很方便,之后却很容易忘。访客照常能看到网站,所以看起来一切正常。

SEO 插件:每个内容类型一个开关

Yoast 帮助中心说,一个设置就能让整个内容类型、分类或标签不出现在搜索中;每篇文章的“高级”选项卡还会问是否“Allow search engines to show this content in search results”(允许搜索引擎在搜索结果中显示此内容)。选“否”就会加上 noindex。要检查插件的设置页面,而不只是某一个页面。

建站工具:隐藏开关

  • Wix: SEO 设置下有全站的“Let search engines index your site”开关,每个页面的 SEO 基础设置下还有“Let search engines index this page”(允许搜索引擎索引此页面)开关(Wix 帮助中心)。
  • Squarespace: 每个页面的 SEO 选项卡里有“Hide page from search results”(在搜索结果中隐藏页面)开关。隐藏一个集合页面(如博客或商店)也会隐藏其中每一项(Squarespace 帮助中心)。设置 → 爬虫(Crawlers)下的全站“Block Search engine crawlers”(屏蔽搜索引擎爬虫)复选框不是 noindex;它加的是 robots.txt 屏蔽,结果一样。
  • Shopify: 仍处于私密(密码)模式的商店会对访客和搜索引擎隐藏所有页面(Shopify 帮助中心)。在 Shopify 后台进入“在线商店”,点击“私密”,再选择“公开”。

上线的测试网站

很多设计师在建站时屏蔽 Google,这没问题。错在上线时没把屏蔽去掉。Google 自己的网站迁移清单正是对此提出警告:

"Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration." (Google Search Central: Site moves with URL changes) 译文:“别忘了移除仅在迁移期间需要的所有 noindex 或 robots.txt 屏蔽。”

看不见的响应头

`X-Robots-Tag` 响应头从不出现在页面代码里,所以“查看源代码”看起来很干净,Google 却仍被告知别来。Google 的规范展示了在服务器文件中设置它的例子,比如给网站上的每个 PDF 加上。如果网址检查说有 noindex,而您找不到标记,通常就是这个原因。

想用 JavaScript 去掉它

有些网站在页面里带着 noindex,等页面加载后再用脚本去掉。这并不可靠:

"When Google encounters the noindex tag, it may skip rendering and JavaScript execution, which means using JavaScript to change or remove the robots meta tag from noindex may not work as expected." (Google Search Central: Understand JavaScript SEO basics) 译文:“当 Google 遇到 noindex 标记时,可能会跳过渲染和 JavaScript 执行,这意味着用 JavaScript 更改或移除 robots meta 标记中的 noindex 可能无法达到预期效果。”

如果某个页面应该出现在 Google 上,原始页面代码就不能写 noindex。

怎样检查网站有没有 noindex

  1. 在 Google 上搜索 `site:yourdomain.com`。 一个老网站结果很少或没有结果,就是第一个警告。
  2. 在 Search Console 中对首页和一个服务页面运行网址检查(URL Inspection)。 Google 建议用这个工具查看“the HTML that Googlebot received”(Googlebot 收到的 HTML)。如果 Google 发现了 noindex,它会直接写出来。刚接触 Search Console?先看该读哪些报告。
  3. 打开页面源代码(右键,查看网页源代码),搜索 `noindex`。写着 `none` 的标记等同于 noindex 加 nofollow(Google 的 robots meta 标记规范)。
  4. 如果第 2 步和第 3 步结果不一致,检查响应头。 在终端里运行 `curl -I https://yourdomain.com/` 会列出响应头;找找 `X-Robots-Tag`。
  5. 打开网页编入索引报告,看有多少页面被列为因 noindex 而排除。如果列表里有您希望被找到的页面,就是设错了。各状态的含义:网页编入索引状态。

怎样撤销 noindex

  1. 从源头关掉它:上表中的设置、插件开关、响应头规则或代码行。
  2. 清除缓存,包括主机、插件或 CDN 的缓存,让旧版本不再被提供。
  3. 确认它已消失,用网址检查的实时测试,而不只是看页面源代码。
  4. 确保 robots.txt 没有屏蔽这些页面。 Google 必须抓取页面才能看到变化(Google Search Central: Block Search indexing with noindex)。
  5. 在网址检查中为最重要的页面请求编入索引。 页面多的话,改为提交站点地图。重复请求没有用:
"Crawling can take anywhere from a few days to a few weeks." (Google Search Central: Ask Google to recrawl your URLs) 译文:“抓取可能需要几天到几周不等。”

Google 还说,“requesting a recrawl multiple times for the same URL won't get it crawled any faster”(对同一网址多次请求重新抓取并不会让它被抓取得更快)(同一页面)。

去掉 noindex 能让页面重新被收录,但不保证恢复原来的排名。页面通常随着 Google 重新抓取而陆续回来。为了下次及早发现,每次改版、装新插件或换平台之后,都对首页重新运行一次网址检查。

什么时候该用 noindex?

noindex 适合对访客有用、但对搜索者没帮助的页面:预约后的感谢页、网站自己的搜索结果页、测试副本。有两件事它不适合:

  • 隐私。 noindex 只是让页面不出现在搜索中,并不能挡住人。WordPress 的文档说得很明白,它的这个设置并不会阻止别人访问网站;“up to search engines to honor your request”(是否遵守您的请求取决于搜索引擎)。私密页面请用密码或登录。
  • 节省 Google 的时间。 Google 说不要为了抓取预算使用 noindex,因为它“will still request, but then drop the page”(仍会请求页面,然后再丢弃)(Google Crawling Infrastructure: Optimize your crawl budget)。

示例

一位水管工的新 WordPress 网站

网站 3 月上线。到 5 月,来自 Google 的电话没了,`site:` 也搜不到任何结果。网址检查显示每个页面都有 noindex。原来“建议搜索引擎不索引本站点”复选框从建站起就一直勾着。取消勾选并提交站点地图后,页面在接下来几周陆续回来。

一家隐藏了博客的美发沙龙

老板想在 Squarespace 上隐藏一个季节性促销页面,却误把博客页面的开关打开了。40 篇文章全部从 Google 消失。关掉开关并为博客页面请求编入索引后就恢复了。

一家页面代码干净的律师事务所

页面源代码里没有 noindex,网址检查却显示有。事务所的开发人员曾为测试副本加了一条 `X-Robots-Tag: noindex` 服务器规则,结果它也作用到了正式域名。删掉这条规则就解决了。

常见问题

去掉 noindex 后,页面多久能回来?

随 Google 重新抓取而回来。Google 说抓取需要“a few days to a few weeks”(几天到几周),为关键页面请求编入索引能让它尽快开始。

noindex 会立即移除页面吗?

不会。Google 会在下次抓取该页面时把它移除;对于很少有网站链接的页面,这可能要几个月(Google Search Central: Block Search indexing with noindex)。

可以把 noindex 写在 robots.txt 里吗?

不可以。“Specifying the noindex rule in the robots.txt file is not supported by Google”(Google 不支持在 robots.txt 文件中指定 noindex 规则)(Google Search Central: Block Search indexing with noindex)。请使用页面标记或响应头,并且不要在 robots.txt 中屏蔽该页面,否则 Google 永远看不到这个标记。

noindex 和 nofollow 一样吗?

不一样。noindex 让页面不出现在搜索中。nofollow 告诉 Google 不要跟踪页面上的链接。WordPress 的那个复选框两者都会加上。

您的情况不同?

继续阅读

下一篇大型网站的抓取预算优化:减少浪费的抓取大型网站的服务器日志能显示 Googlebot 把访问浪费在哪里。如何读日志、先修复哪些网址模式,以及如何确认修复有效。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Search Central: Block Search indexing with noindex
  2. Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
  3. Google Search Central: Understand JavaScript SEO basics
  4. Google Search Central: Ask Google to recrawl your URLs
  5. Google Search Central: Site moves with URL changes
  6. Google Crawling Infrastructure: Optimize your crawl budget
  7. WordPress Documentation: Settings Reading screen
  8. Yoast: How to noindex URLs
  9. Wix Help: Enabling search engines to index your site
  10. Wix Help: Hiding a page from search engines
  11. Squarespace Help: Hiding your site from search results
  12. Shopify Help: Restrict access to your online store