会让 Google 无法抓取网站的 robots.txt 错误,以及修复方法
简短回答 robots.txt 造成的损害大多来自几个错误:测试站留下的 Disallow: /、被屏蔽的 CSS 或脚本文件夹、匹配范围超出预期的短规则,以及 Google 会忽略的规则(例如 noindex)。打开 yoursite.com/robots.txt,对照这份清单逐行检查,然后在 Search Console 的 robots.txt 报告中确认。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话常见错误一览
在浏览器中打开 yoursite.com/robots.txt。里面的每一行,都是对 Google 爬虫(Googlebot,即抓取您网页的程序)提出的要求。下面这些行最容易让企业主损失流量,大致按损害程度排序。
| 错误 | 后果 | 修复 |
|---|---|---|
| 建站时留下的 Disallow: / | 屏蔽整个网站 | 删除这一行 |
| 屏蔽了 CSS 或脚本文件夹 | Google 看到的页面和访客看到的不一样 | 删除针对这些文件夹的规则 |
| 像 Disallow: /blog 这样的短规则 | 连 /blog-tips 和 /blogger 也一起屏蔽 | 文件夹规则以 / 结尾 |
| Disallow: /*? | 屏蔽所有带 ? 的网址 | 写明具体的参数 |
| Googlebot 分组里缺少您的其他规则 | Google 会忽略您的 * 分组 | 把通用规则复制进去 |
| 想通过屏蔽页面让它从 Google 消失 | 页面可能仍留在搜索结果中 | 解除屏蔽,改用 noindex |
| noindex 或 crawl-delay 行 | Google 两者都忽略 | 改用 noindex 标签;删掉 crawl-delay |
| 列出私密文件夹想把它们藏起来 | 任何人都能读到这个文件 | 改用密码保护 |
| 文件返回服务器错误 | Google 暂停抓取 | 修好服务器,让文件能正常加载 |
是不是遗留的测试站规则屏蔽了整个网站?
检查 User-agent: * 下面有没有一行正好写着 Disallow: /。这一个斜杠会匹配所有页面(Google:robots.txt 规范)。开发人员常在新网站建设期间加上它,结果上线时一起发布了。Google 的网站迁移指南把它列为常见错误之一:
"Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration." (Google Search Central: Site moves with URL changes) 译文:“别忘了删除那些只在迁移期间需要的 noindex 或 robots.txt 屏蔽。”
如果用的是 WordPress,还要检查“设置”中的“阅读”。“建议搜索引擎不索引本站点”这个选项,现在会给每个页面加上 noindex 标签;5.3 版之前,它是把 Disallow: / 写进 robots.txt(WordPress.org:阅读设置页面)。无论哪种方式,上线后忘了取消勾选,网站都会进不了 Google。如果新网站一上线流量就下跌,先看看改版后流量为什么会下降。
我是不是屏蔽了 CSS、JavaScript 或图片?
如果某条规则覆盖了存放样式和脚本的文件夹,Google 看到的就是一个残缺的页面。Google 会像浏览器一样渲染页面,但不会运行它无权抓取的代码:“Google Search won't render JavaScript from blocked files or on blocked pages”(Google 搜索不会渲染来自被屏蔽文件或被屏蔽页面上的 JavaScript)(Google:JavaScript SEO 基础知识)。它的入门指南把代价说得很清楚:
"If your site is hiding important components that make up your website (like CSS and JavaScript), Google might not be able to understand your pages, which means they might not show up in search results or rank well for the terms you're targeting." (Google Search Central: SEO Starter Guide) 译文:“如果您的网站隐藏了构成网站的重要组成部分(例如 CSS 和 JavaScript),Google 可能无法理解您的网页,这意味着它们可能不会出现在搜索结果中,或者在您想要的关键词上排名不佳。”
在 WordPress 上,主题文件和上传的图片都放在 /wp-content/ 下,所以 Disallow: /wp-content/ 会把两者一起屏蔽。屏蔽图片文件夹还会让这些图片无法出现在 Google 图片中(Google:robots.txt 简介)。Google 表示,只有在页面不依赖某个资源时,屏蔽它才没问题。
为什么我的规则屏蔽的范围比我想的大?
因为每条规则匹配的是网址的开头,而且只有两个通配符:* 代表任意字符,$ 代表结尾(Google:robots.txt 规范)。路径区分大小写。
| 规则 | 您的本意 | 它还会屏蔽 |
|---|---|---|
| Disallow: /blog | 博客文件夹 | /blog-tips、/blogger.html |
| Disallow: /*? | 排序或筛选后的重复页面 | 所有带 ? 的网址,例如 /services?page=2 |
| Disallow: /*.pdf | PDF 文件 | 任何包含 .pdf 的路径,例如 /guide.pdf-download |
| Disallow: /Admin/ | 后台区域 | /admin/ 下什么都没屏蔽(大小写不对) |
更安全的写法:文件夹用 Disallow: /blog/,单个参数用 Disallow: /*?sort=,以 .pdf 结尾的文件用 Disallow: /*.pdf$。
Google 为什么不理会我的规则?
三个常见原因:
- 具名分组会取代通用分组。 爬虫只遵循最具体地点名它的那个分组;“Other groups are ignored”(其他分组会被忽略)(Google:robots.txt 规范)。只要加一个只有一条规则的 User-agent: Googlebot 分组,Googlebot 就不再读取 User-agent: * 下的任何内容。
- 这条规则不是 Google 会读取的。 Google 只支持 user-agent、allow、disallow 和 sitemap;“other fields such as crawl-delay aren't supported”(crawl-delay 等其他字段不受支持)(Google:robots.txt 规范)。从 2019 年 9 月 1 日起,Google 不再遵守 robots.txt 中的 noindex 行(Google Search Central 博客)。
- 文件放错了位置。 它必须放在每个主机的根目录。放在子文件夹里的文件永远不会被读取,而 blog.example.com 需要自己单独的文件(Google:robots.txt 规范)。
我已经屏蔽了页面,为什么它还在 Google 上?
因为 robots.txt 阻止的是抓取,不是索引。Google 可以根据其他地方的链接收录被屏蔽的页面,通常不带描述。Search Console 的网页索引编制报告说明了该怎么做:
"If you do want to block this page from Google Search, robots.txt is not the correct mechanism to avoid being indexed. To avoid being indexed, remove the robots.txt block and use 'noindex'." (Search Console Help: Page indexing report) 译文:“如果您确实想让这个页面不出现在 Google 搜索中,robots.txt 并不是防止被编入索引的正确方法。要避免被编入索引,请移除 robots.txt 屏蔽,并使用‘noindex’。”
同一个页面既屏蔽又加 noindex 也不行:“the crawler will never see the noindex rule”(爬虫永远看不到 noindex 规则)(Google:阻止编入索引)。如果需要让页面尽快消失,请看从 Google 删除信息。
如果文件本身出错怎么办?
服务器怎么响应,和文件里写了什么同样重要(Google:robots.txt 规范):
| 服务器对 /robots.txt 的响应 | Google 的做法 |
|---|---|
| 404 或其他 4xx(429 除外) | 当作没有任何规则来抓取 |
| 5xx 服务器错误 | 停止抓取网站 12 小时,之后最多 30 天内使用最后一份正常的副本 |
| 超过五次重定向 | 当作文件不存在(404) |
所以文件不存在没有害处;文件出错却可能让抓取停下来。防火墙或安全插件挡住 Googlebot 读取这个文件,就可能造成这种情况。
怎么检查和修复?
- 读取线上文件:在浏览器无痕窗口中打开 yoursite.com/robots.txt。
- 打开 Search Console 中的 robots.txt 报告。 Google 指定它为检查线上文件的工具(Google:创建 robots.txt 文件)。据 Search Engine Roundtable 报道,Google 旧版的 robots.txt 测试工具已于 2023 年底停用。
- 检查一个关键页面:用网址检查工具查看是否允许抓取。请看值得一读的 Search Console 报告。
- 编辑并上传修改后的文件。Google 大约每 24 小时更新一次它保存的副本;想更快生效,可在 robots.txt 报告中使用“请求重新抓取”(Google:更新 robots.txt 文件)。
示例
网站重建后的屋顶承包商(美元)
花 $6,000 做的新网站上线,几周内来自搜索的电话就断了。robots.txt 写的是 User-agent: *,下一行是 Disallow: /。删掉第二行并请求重新抓取,Google 就能重新进入;随着 Google 重新抓取,页面可以陆续回来。
想隐藏订购页面的面包店(加元)
店主加了 Disallow: /order,想让一个 $40 定制蛋糕的表单不出现在 Google 上。结果它还屏蔽了 /ordering-faq,一个原本有排名的页面。改成 Disallow: /order$ 后就只屏蔽这个表单。更好的做法是:删掉这条规则,在表单页上加 noindex 标签,因为真正让页面不出现在结果中的是它。
常见问题
写错一行真的会让整个网站消失吗?
会。User-agent: * 下的 Disallow: / 会要求所有爬虫跳过所有页面。
WordPress 上应该屏蔽 /wp-admin/ 吗?
屏蔽后台区域很常见,也无害,只要这条规则没有同时覆盖 /wp-content/——主题样式和图片都放在那里。
Google 会遵守 crawl-delay 吗?
不会。Google 会忽略它(Google:robots.txt 规范)。
robots.txt 能保护私密页面吗?
不能。任何人都能读到这个文件,恶意爬虫也会无视它。Google 建议改用密码保护私密文件(Google:robots.txt 简介)。
Google 多快能看到我的修改?
通常一天之内,因为 Google 最多缓存这个文件 24 小时。在 robots.txt 报告中请求重新抓取可以加快速度。
您的情况不同?
- 网站在 Google 上找不到,而 robots.txt 看起来没问题: 请按网站为什么没出现在 Google 上逐项排查。
- 换了新网站或新主机后流量下跌: 请看改版后流量下降。
- 想屏蔽 AI 爬虫又不影响 Google: 请看屏蔽 AI 爬虫。
- 希望有人帮您把抓取设置管好: 请看 /seo/。