产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

会让 Google 无法抓取网站的 robots.txt 错误,以及修复方法

更新于 · 阅读约 6 分钟

简短回答 robots.txt 造成的损害大多来自几个错误:测试站留下的 Disallow: /、被屏蔽的 CSS 或脚本文件夹、匹配范围超出预期的短规则,以及 Google 会忽略的规则(例如 noindex)。打开 yoursite.com/robots.txt,对照这份清单逐行检查,然后在 Search Console 的 robots.txt 报告中确认。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

常见错误一览

在浏览器中打开 yoursite.com/robots.txt。里面的每一行,都是对 Google 爬虫(Googlebot,即抓取您网页的程序)提出的要求。下面这些行最容易让企业主损失流量,大致按损害程度排序。

错误后果修复
建站时留下的 Disallow: /屏蔽整个网站删除这一行
屏蔽了 CSS 或脚本文件夹Google 看到的页面和访客看到的不一样删除针对这些文件夹的规则
像 Disallow: /blog 这样的短规则连 /blog-tips 和 /blogger 也一起屏蔽文件夹规则以 / 结尾
Disallow: /*?屏蔽所有带 ? 的网址写明具体的参数
Googlebot 分组里缺少您的其他规则Google 会忽略您的 * 分组把通用规则复制进去
想通过屏蔽页面让它从 Google 消失页面可能仍留在搜索结果中解除屏蔽,改用 noindex
noindex 或 crawl-delay 行Google 两者都忽略改用 noindex 标签;删掉 crawl-delay
列出私密文件夹想把它们藏起来任何人都能读到这个文件改用密码保护
文件返回服务器错误Google 暂停抓取修好服务器,让文件能正常加载

是不是遗留的测试站规则屏蔽了整个网站?

检查 User-agent: * 下面有没有一行正好写着 Disallow: /。这一个斜杠会匹配所有页面(Google:robots.txt 规范)。开发人员常在新网站建设期间加上它,结果上线时一起发布了。Google 的网站迁移指南把它列为常见错误之一:

"Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration." (Google Search Central: Site moves with URL changes) 译文:“别忘了删除那些只在迁移期间需要的 noindex 或 robots.txt 屏蔽。”

如果用的是 WordPress,还要检查“设置”中的“阅读”。“建议搜索引擎不索引本站点”这个选项,现在会给每个页面加上 noindex 标签;5.3 版之前,它是把 Disallow: / 写进 robots.txt(WordPress.org:阅读设置页面)。无论哪种方式,上线后忘了取消勾选,网站都会进不了 Google。如果新网站一上线流量就下跌,先看看改版后流量为什么会下降。

我是不是屏蔽了 CSS、JavaScript 或图片?

如果某条规则覆盖了存放样式和脚本的文件夹,Google 看到的就是一个残缺的页面。Google 会像浏览器一样渲染页面,但不会运行它无权抓取的代码:“Google Search won't render JavaScript from blocked files or on blocked pages”(Google 搜索不会渲染来自被屏蔽文件或被屏蔽页面上的 JavaScript)(Google:JavaScript SEO 基础知识)。它的入门指南把代价说得很清楚:

"If your site is hiding important components that make up your website (like CSS and JavaScript), Google might not be able to understand your pages, which means they might not show up in search results or rank well for the terms you're targeting." (Google Search Central: SEO Starter Guide) 译文:“如果您的网站隐藏了构成网站的重要组成部分(例如 CSS 和 JavaScript),Google 可能无法理解您的网页,这意味着它们可能不会出现在搜索结果中,或者在您想要的关键词上排名不佳。”

在 WordPress 上,主题文件和上传的图片都放在 /wp-content/ 下,所以 Disallow: /wp-content/ 会把两者一起屏蔽。屏蔽图片文件夹还会让这些图片无法出现在 Google 图片中(Google:robots.txt 简介)。Google 表示,只有在页面不依赖某个资源时,屏蔽它才没问题。

为什么我的规则屏蔽的范围比我想的大?

因为每条规则匹配的是网址的开头,而且只有两个通配符:* 代表任意字符,$ 代表结尾(Google:robots.txt 规范)。路径区分大小写。

规则您的本意它还会屏蔽
Disallow: /blog博客文件夹/blog-tips、/blogger.html
Disallow: /*?排序或筛选后的重复页面所有带 ? 的网址,例如 /services?page=2
Disallow: /*.pdfPDF 文件任何包含 .pdf 的路径,例如 /guide.pdf-download
Disallow: /Admin/后台区域/admin/ 下什么都没屏蔽(大小写不对)

更安全的写法:文件夹用 Disallow: /blog/,单个参数用 Disallow: /*?sort=,以 .pdf 结尾的文件用 Disallow: /*.pdf$。

Google 为什么不理会我的规则?

三个常见原因:

  • 具名分组会取代通用分组。 爬虫只遵循最具体地点名它的那个分组;“Other groups are ignored”(其他分组会被忽略)(Google:robots.txt 规范)。只要加一个只有一条规则的 User-agent: Googlebot 分组,Googlebot 就不再读取 User-agent: * 下的任何内容。
  • 这条规则不是 Google 会读取的。 Google 只支持 user-agent、allow、disallow 和 sitemap;“other fields such as crawl-delay aren't supported”(crawl-delay 等其他字段不受支持)(Google:robots.txt 规范)。从 2019 年 9 月 1 日起,Google 不再遵守 robots.txt 中的 noindex 行(Google Search Central 博客)。
  • 文件放错了位置。 它必须放在每个主机的根目录。放在子文件夹里的文件永远不会被读取,而 blog.example.com 需要自己单独的文件(Google:robots.txt 规范)。

我已经屏蔽了页面,为什么它还在 Google 上?

因为 robots.txt 阻止的是抓取,不是索引。Google 可以根据其他地方的链接收录被屏蔽的页面,通常不带描述。Search Console 的网页索引编制报告说明了该怎么做:

"If you do want to block this page from Google Search, robots.txt is not the correct mechanism to avoid being indexed. To avoid being indexed, remove the robots.txt block and use 'noindex'." (Search Console Help: Page indexing report) 译文:“如果您确实想让这个页面不出现在 Google 搜索中,robots.txt 并不是防止被编入索引的正确方法。要避免被编入索引,请移除 robots.txt 屏蔽,并使用‘noindex’。”

同一个页面既屏蔽又加 noindex 也不行:“the crawler will never see the noindex rule”(爬虫永远看不到 noindex 规则)(Google:阻止编入索引)。如果需要让页面尽快消失,请看从 Google 删除信息。

如果文件本身出错怎么办?

服务器怎么响应,和文件里写了什么同样重要(Google:robots.txt 规范):

服务器对 /robots.txt 的响应Google 的做法
404 或其他 4xx(429 除外)当作没有任何规则来抓取
5xx 服务器错误停止抓取网站 12 小时,之后最多 30 天内使用最后一份正常的副本
超过五次重定向当作文件不存在(404)

所以文件不存在没有害处;文件出错却可能让抓取停下来。防火墙或安全插件挡住 Googlebot 读取这个文件,就可能造成这种情况。

怎么检查和修复?

  1. 读取线上文件:在浏览器无痕窗口中打开 yoursite.com/robots.txt。
  2. 打开 Search Console 中的 robots.txt 报告。 Google 指定它为检查线上文件的工具(Google:创建 robots.txt 文件)。据 Search Engine Roundtable 报道,Google 旧版的 robots.txt 测试工具已于 2023 年底停用。
  3. 检查一个关键页面:用网址检查工具查看是否允许抓取。请看值得一读的 Search Console 报告。
  4. 编辑并上传修改后的文件。Google 大约每 24 小时更新一次它保存的副本;想更快生效,可在 robots.txt 报告中使用“请求重新抓取”(Google:更新 robots.txt 文件)。

示例

网站重建后的屋顶承包商(美元)

花 $6,000 做的新网站上线,几周内来自搜索的电话就断了。robots.txt 写的是 User-agent: *,下一行是 Disallow: /。删掉第二行并请求重新抓取,Google 就能重新进入;随着 Google 重新抓取,页面可以陆续回来。

想隐藏订购页面的面包店(加元)

店主加了 Disallow: /order,想让一个 $40 定制蛋糕的表单不出现在 Google 上。结果它还屏蔽了 /ordering-faq,一个原本有排名的页面。改成 Disallow: /order$ 后就只屏蔽这个表单。更好的做法是:删掉这条规则,在表单页上加 noindex 标签,因为真正让页面不出现在结果中的是它。

常见问题

写错一行真的会让整个网站消失吗?

会。User-agent: * 下的 Disallow: / 会要求所有爬虫跳过所有页面。

WordPress 上应该屏蔽 /wp-admin/ 吗?

屏蔽后台区域很常见,也无害,只要这条规则没有同时覆盖 /wp-content/——主题样式和图片都放在那里。

Google 会遵守 crawl-delay 吗?

不会。Google 会忽略它(Google:robots.txt 规范)。

robots.txt 能保护私密页面吗?

不能。任何人都能读到这个文件,恶意爬虫也会无视它。Google 建议改用密码保护私密文件(Google:robots.txt 简介)。

Google 多快能看到我的修改?

通常一天之内,因为 Google 最多缓存这个文件 24 小时。在 robots.txt 报告中请求重新抓取可以加快速度。

您的情况不同?

继续阅读

下一篇可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

自己动手

Core Web Vitals 检查清单:让网站变快的速效做法小企业网站一周就能做完的 Core Web Vitals 检查清单:先找出不达标的指标,再做店主自己就能改的图片、布局和脚本修复。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Crawling Infrastructure: How Google interprets the robots.txt specification
  2. Google Search Central: Introduction to robots.txt
  3. Google Search Central: Site moves with URL changes
  4. Google Search Central: SEO Starter Guide
  5. Google Search Central: Understand the JavaScript SEO basics
  6. Search Console Help: Page indexing report
  7. Google Search Central: Block Search indexing with noindex
  8. Google Search Central Blog: A note on unsupported rules in robots.txt (July 2019)
  9. Google Search Central: How to write and submit a robots.txt file
  10. Google Search Central: Update your robots.txt file
  11. WordPress.org Documentation: Settings Reading screen