产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

Robots.txt 与 noindex:每类页面该用哪一个

更新于 · 阅读约 8 分钟

简短回答 想让页面不出现在 Google 搜索结果里,用 noindex。robots.txt 只用来阻止 Google 抓取它不需要读的页面,比如无穷无尽的筛选或排序列表。同一个页面不要两者都用:robots.txt 的屏蔽会让 Google 看不到 noindex,光秃秃的网址仍可能出现在结果里。私密页面请用密码保护。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

Robots.txt 还是 noindex:我需要哪一个?

按您想要的结果来选。robots.txt 控制 Google 的爬虫(读取网页的程序)是否访问某个页面;noindex 控制页面是否出现在搜索结果里。Google 说得很直白,robots.txt 不是用来隐藏页面的工具:

"This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central: Introduction to robots.txt) 译文:“它主要用于避免请求过多导致网站超负荷;它不是让网页不出现在 Google 中的机制。”
您想要的结果用什么原因
页面不出现在 Google 搜索结果中noindexGoogle 读到这个标记后就会删除该页面
让 Google 别在近似重复的页面(排序或筛选列表)上浪费访问robots.txt DisallowGoogle 根本不会请求这些网址
只有客户或员工能看到密码(登录)robots.txt 和 noindex 只是请求;登录才是一把锁
重复版本指向主版本canonical 标记处理重复页面时,Google 更推荐它而不是 noindex
一天内让页面从结果中消失Search Console 的“删除”工具,再加 noindex 或删除页面“删除”请求约持续 6 个月
让图片或视频不进 Googlerobots.txt DisallowGoogle 只会为它可以抓取的媒体编入索引

robots.txt 和 noindex 有什么区别?

robots.txt 是放在网站根目录的一个纯文本文件(yourdomain.com/robots.txt)。里面的规则告诉爬虫哪些网址不要请求。noindex 是放在单个页面上的规则,可以是页面代码里的 meta 标记,也可以是服务器随文件发送的 HTTP 标头。

最容易让人犯错的区别:robots.txt 并不能让页面不进 Google。Google 读不了这个页面,但能从别处的链接得知它的网址。

"If other pages point to your page with descriptive text, Google could still index the URL without visiting the page." (Google Search Central: Introduction to robots.txt) 译文:“如果其他页面用描述性文字链接到您的页面,Google 仍可能在不访问该页面的情况下将该网址编入索引。”

这样的结果只显示您的网址,没有描述。noindex 则会把页面彻底移除,即使有其他网站链接到它,前提是 Google 能读到这个页面:

"When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it." (Google Search Central: Block Search indexing with noindex) 译文:“当 Googlebot 抓取该页面并提取到该标记或标头时,Google 会将该页面从 Google 搜索结果中完全移除,无论是否有其他网站链接到它。”

两者都不是安全措施。Google 说,是否遵守 robots.txt 由每个爬虫自己决定,而 noindex 只对支持它的搜索引擎有效。任何拿到链接的人仍然可以打开页面。

哪些页面用 noindex、robots.txt,或都不用?

大多数小企业网站这两样都用得很少。下面是老板们常问的页面该怎么处理。

页面用什么说明
感谢页或预约确认页noindex搜索者在流程中途落到这里没有意义,还可能虚增您的潜在客户数量
照搬服务页的广告落地页noindex,或不用管广告照常投放;Google 的广告爬虫(AdsBot)会单独检查页面
网站自带的站内搜索结果(/?s=plumber)robots.txt Disallow无穷无尽的近似重复页面;Google 的抓取预算指南就以排序版本为例
商店或列表的筛选和排序robots.txt Disallow同样的原因;只有数量很多时才值得做
后台或登录页不用管,或 noindex本来就有密码保护;写一行 Disallow 反而暴露了路径
客户门户、发票、客户资料文件密码两种工具都挡不住人
网站的测试版或预发布副本密码,或每个页面都加 noindex只用 Disallow 可能让它的网址留在结果中
同一服务页的两个版本指向主页面的 canonical 标记Google 不建议在这种情况下用 noindex
已停止服务的旧页面删除(404)或重定向比留着一个隐藏页面更好
不想出现在结果中的 PDF 价目表以 HTTP 标头发送 noindexPDF 没有页面代码,放不了 meta 标记
标签、作者或日期归档页内容单薄就加 noindex可选;很多小网站不管它们
有排名、能带来潜在客户的页面都不用检查一下有没有误屏蔽

关于重复页面,Google 的 canonical 指南说不建议用 noindex 来选主版本,"because it will completely block the page from Search"(因为它会把页面从搜索中完全屏蔽)。关于广告页:Google 把 AdsBot 列为特殊爬虫,它会忽略写给所有爬虫的 robots.txt 规则(User-agent: *),所以全站 Disallow 拦不住它。如果您写了一条专门针对 AdsBot 的规则,Google 说这条规则会影响 Google Ads 检查您页面质量的方式。

为什么不要在同一个页面上同时使用两者

因为 robots.txt 的屏蔽优先,noindex 永远不会被看到。Google 只有在抓取页面时才会读取页面上的规则:

"If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored." (Google Search Central: Robots meta tag specifications) 译文:“如果某个页面通过 robots.txt 文件被禁止抓取,那么有关编入索引或展示规则的任何信息都不会被发现,因此会被忽略。”

要把已经在 Google 中的页面从结果里移除:

  1. 确认 robots.txt 没有屏蔽它。
  2. 给页面加上 noindex。
  3. 在 Search Console 中用“网址检查”工具请 Google 重新抓取。否则 Google 说重新抓取可能要几个月。
  4. 保持页面可被抓取。页面从结果中消失后,保留 noindex,不要再加 Disallow;之后再屏蔽会让 noindex 被隐藏。

想更快消失?Google 的“删除”工具能在一天内隐藏结果,但请求只持续约 6 个月。保留 noindex、加上密码或删除页面,它才会一直消失。

怎么添加 noindex 或 robots.txt 规则?

先看您建站工具的设置。Google 自己也建议 Wix、WordPress 和 Blogger 用户使用平台的搜索设置,而不是改代码。在设置里搜索“对搜索引擎隐藏页面”之类的选项:这个开关会帮您加上 noindex。

如果您改代码,noindex 就是页面 head 部分的一行:一个 name="robots"、content="noindex" 的 meta 标记。对于没有页面代码的文件(例如 PDF),则由服务器发送 X-Robots-Tag: noindex 标头。Google 说这两种方法效果相同。在 robots.txt 里写“noindex”没有任何作用;Google 不支持。

一条 robots.txt 规则只需两行。要让所有爬虫都不抓取您的站内搜索结果:

行含义
User-agent: *下面的规则适用于所有爬虫
Disallow: /search/不要请求任何以 /search/ 开头的网址

规则区分大小写,文件必须放在域名根目录。在 Search Console 里检查:robots.txt 报告显示 Google 抓取到的文件,“网址检查”显示页面是否被屏蔽或带有 noindex。

WordPress 自己的历史就体现了这个转变。它的“建议搜索引擎不索引本站点”选项过去会在 robots.txt 里加上 Disallow: /(屏蔽一切);从 5.3 版起,改为加上 noindex, nofollow 标记(WordPress Documentation: Settings Reading Screen)。如果正式网站勾选了这个选项,请取消勾选。

小企业网站需要担心抓取预算吗?

几乎不用。抓取预算是 Google 给一个网站分配的抓取量。Google 的指南针对的是约 100 万个以上页面且每周变化的网站,或 1 万个以上页面且每天变化的网站。对于更小的网站:

"For Google Search specifically, keeping your sitemap up to date and checking the Page Indexing report regularly is adequate." (Google Crawling Infrastructure: Optimize your crawl budget) 译文:“就 Google 搜索而言,保持站点地图最新并定期查看网页编入索引报告就足够了。”

对于大型网站,这份指南反转了通常的建议:为了节省抓取,用 robots.txt 屏蔽近似重复的页面,而不要依赖 noindex,因为 Google 仍然要请求页面才能看到 noindex。这就是上表中筛选和排序归在 robots.txt 一行的原因。

示例

以下为示意案例,数字为编造。

一家牙科诊所的确认页(美元)

诊所在 Google Ads 上每次点击付 $40。它的“/booking-confirmed”页面出现在 Google 中,有些访客直接落到这里,于是分析工具统计到了从未发生的预约。给这个页面加上 noindex,robots.txt 不动,重新抓取后页面就从结果中消失了。

一家园林绿化公司的测试站(加元)

网页设计师在 staging.example.ca 上做了一个 C$6,000 的改版,并在 robots.txt 里用 Disallow: / 屏蔽。几周后,测试站首页出现在 Google 中,没有描述,因为一家供应商链接了它。解决办法:给测试站加密码。新网站上线时,设计师复制正式网站的 robots.txt,而不是测试站的,这样正式网站就不会被屏蔽。

常见问题

robots.txt 屏蔽能把已经在 Google 中的页面移除吗?

不能。Google 说被屏蔽的网址可能留在结果中,只是没有描述。请用 noindex,并保持页面可被抓取,直到它从结果中消失。

noindex 会阻止 Google 跟踪页面上的链接吗?

单靠它不会。Google 说,没有 nofollow 规则时,它可能会用页面上的链接去发现其他页面。

robots.txt 能隐藏我的后台或客户页面吗?

不能。它是任何人都能读的公开文件,爬虫遵不遵守全凭自愿。私密内容请用登录保护。

noindex 多久生效?

要等 Google 再次抓取这个页面。Google 说,不太重要的页面可能要几个月。您可以在“网址检查”中请求重新抓取。

noindex 会伤害网站的其他部分吗?

不会。它只影响带有它的那个页面。Google 甚至指出,把低质量页面编入索引可能会影响网站的排名。

您的情况不同?

继续阅读

下一篇XML 站点地图与 HTML 站点地图:各自对 SEO 有什么用XML 与 HTML 站点地图:分别给谁看、Google 和 Bing 怎么说,以及小企业网站需要其中一个、另一个,还是两个都要。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Search Central: Introduction to robots.txt
  2. Google Search Central: Block Search indexing with noindex
  3. Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
  4. Google Search Central: Control what you share with Google Search
  5. Google Search Central: Remove a page hosted on your site from Google
  6. Google Search Central: How to specify a canonical URL with rel="canonical" and other methods
  7. Google Crawling Infrastructure: Optimize your crawl budget
  8. Google Crawling Infrastructure: How to write and submit a robots.txt file
  9. Google Crawling Infrastructure: Google's special-case crawlers
  10. WordPress Documentation: Settings Reading Screen