Robots.txt 是什么:怎么运作,又做不到什么
简短回答 Robots.txt 是放在 yoursite.com/robots.txt 的纯文本文件,告诉爬虫哪些网址可以访问。它控制的是抓取,不是索引:Google 明确说它不是让网页不出现在搜索中的方法。它是请求,不是门锁:私密页面需要密码,不想出现在 Google 的页面要用 noindex。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话robots.txt 文件是什么
它是一个放在域名根目录的简短文本文件,比如 example.com/robots.txt,告诉搜索引擎爬虫(抓取网页的程序,比如 Googlebot)网站的哪些部分可以访问。任何人都能查看,包括您自己:在浏览器里输入您的域名加 /robots.txt 即可。
它真正的作用是管理爬虫流量。Google 搜索中心把界限说得很清楚:
"This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central: Introduction to robots.txt) 译文:“它主要用于避免您的网站因请求过多而超负荷;它不是让网页不出现在 Google 中的机制。”
这个格式由来已久。Martijn Koster 在 1994 年制定了它,互联网工程任务组(IETF)在 2022 年 9 月把它发布为标准轨道文件 RFC 9309(RFC 9309)。
robots.txt 文件长什么样?
只有几行,每行是字段名、冒号和值。下面是一个典型小企业的文件,逐行说明:
| 行 | 意思 |
|---|---|
| User-agent: * | 下面的规则适用于所有爬虫 |
| Disallow: /cart/ | 不要抓取路径以 /cart/ 开头的任何内容 |
| Disallow: /*?sort= | 不要抓取列表页按排序生成的副本 |
| Allow: /cart/help | 这一页例外,可以抓取 |
| Sitemap: https://example.com/sitemap.xml | 您的网页清单所在位置 |
Google 只读取四个字段;其他字段(比如 crawl-delay)一律忽略(Google: robots.txt specification):
| 字段 | 含义 | 说明 |
|---|---|---|
| user-agent | 这组规则针对哪个爬虫 | * 表示任何爬虫 |
| disallow | 爬虫不应抓取的路径 | 不带路径的 disallow 什么也不屏蔽 |
| allow | 可以抓取的路径,即使在被屏蔽的文件夹里 | 用来设置例外 |
| sitemap | 站点地图的完整网址 | 适用于所有爬虫;可以列出多个 |
可以屏蔽图片、脚本或样式文件,但 Google 提醒不要屏蔽它理解网页所需的那些文件(Google Search Central)。
以 # 开头的行是注释,爬虫会跳过,适合注明某条规则为什么存在。如果一条规则都没有,整个网站都可以被抓取(Google: robots.txt specification)。
规则如何匹配网页?
每条规则都和网页路径(网址中域名之后的部分)的开头进行比较。有三个细节最容易出错(Google: robots.txt specification):
- 路径区分大小写,并以 / 开头。 Disallow: /fish 会屏蔽 /fish.html 和 /fishheads,但不会屏蔽 /Fish.asp 或 /catfish。
- 只有两种通配符。 * 代表任意一串字符,$ 表示网址结尾。不支持正则表达式(程序员在别处用的模式匹配代码)。
- 匹配最长的规则优先。 如果 allow 和 disallow 匹配长度相同,Google 选择限制较少的那条,也就是 allow。
| 规则 | 屏蔽 | 不屏蔽 |
|---|---|---|
| Disallow: / | 整个网站 | 无 |
| Disallow: /fish/ | /fish/salmon.htm | /fish.html、/animals/fish/ |
| Disallow: /*.pdf$ | /menu.pdf | /menu.pdf?v=2 |
| Disallow: | 无(空规则) | 全部 |
哪个爬虫遵守哪些规则?
每个爬虫只遵守一组规则:最具体点名它的那一组。Google 说“Other groups are ignored”(其他组会被忽略)(Google: robots.txt specification)。所以如果您添加了 User-agent: Googlebot 组,Googlebot 就完全不再读取您的 User-agent: * 组。共用的规则也要复制到 Googlebot 组里。各组在文件中的顺序无关紧要。
robots.txt 做不到什么
大多数老板就是在这里出错。这个文件只是一个礼貌的请求,守规矩的爬虫才会遵守。除此之外它什么也改变不了。
| 您想要 | robots.txt 能做到吗? | 改用 |
|---|---|---|
| 让网页不出现在 Google 结果中 | 不能。被屏蔽的网址如果有其他网站链接,仍可能出现,只是没有描述(Google) | noindex 标签(PDF 用 X-Robots-Tag 响应头)、密码,或删除网页(Google) |
| 隐藏私密文件 | 不能。在公开文件里列出路径,等于公开告诉别人(RFC 9309) | 密码或登录 |
| 拦住爬取工具和恶意机器人 | 不能。“it's up to the crawler to obey them”(是否遵守由爬虫自己决定)(Google) | 在服务器或防火墙层面屏蔽 |
| 让 Googlebot 放慢速度 | 不能。Google 忽略 crawl-delay,而 Search Console 的抓取速度工具已于 2024 年 1 月 8 日下线(Google Blog) | 短时间内返回 500、503 或 429 状态码(Google) |
| 覆盖 blog.example.com 或 http 版本 | 不能。每个主机、协议和端口都需要各自的文件(Google) | 每个子域名一个文件 |
标准本身说得很直白:
"These rules are not a form of access authorization." (RFC 9309) 译文:“这些规则不是一种访问授权。”
由此产生一个陷阱。如果您在 robots.txt 中屏蔽了某个网页,同时又给它加了 noindex 标签,Google 根本不会抓取这个网页,也就看不到 noindex:“the crawler will never see the noindex rule, and the page can still appear in search results”(爬虫永远看不到 noindex 规则,网页仍可能出现在搜索结果中)(Google Search Central: Block indexing)。要让网页从 Google 消失,就让它保持可抓取,交给 noindex 处理。
我需要 robots.txt 文件吗?
不一定。如果文件不存在(服务器返回 404),Google 会视为网站没有抓取限制,正常抓取(Google: robots.txt specification)。大多数小网站没有它也没有任何损失。Wix 或 Blogger 等托管建站工具可能会替您管理这个文件,并提供搜索设置页面来代替(Google Search Central)。
真正有害的是出错的文件。如果服务器对 robots.txt 返回错误(5xx),Google 会在最初 12 小时内停止抓取网站,之后最多 30 天使用上一份正常的副本(Google: robots.txt specification)。
放在哪里,修改何时生效
- 位置: 只能放在主机的根目录。放在 example.com/folder/robots.txt 的文件永远不会被读取(Google)。
- 名称和格式: 必须叫 robots.txt,纯 UTF-8 文本,每个网站一个文件(Google)。
- 大小: Google 只读取前 500 KiB,其余部分忽略(Google)。
- 延迟: Google 通常会缓存这个文件最多 24 小时,所以修改不会立即生效(Google)。
- 检查: Google 的工具是 Search Console 中的 robots.txt 报告(Google)。参见值得一看的 Search Console 报告。
示例
一家园林公司的文件写着 Disallow: /
网站上线时直接用了测试环境的副本,而那份副本告诉所有爬虫不要进入。来自搜索的潜在客户为零。删掉那一行,再等大约一天让 Google 重新获取文件,抓取就会恢复。
一家诊所想隐藏员工门户
老板加了 Disallow: /staff-portal/。这能阻止 Google 抓取,却把文件夹名称公开给了任何打开 robots.txt 的人。门户需要的是登录;robots.txt 这一行毫无帮助。
一家有 2,000 个筛选页的网店
排序和筛选选项会为每个分类页生成成千上万个几乎相同的副本。Disallow: /*?sort= 这样的规则能让爬虫留在真正的页面上。这正是 robots.txt 的本职工作。
常见问题
每个网站都有 robots.txt 文件吗?
没有。它是可选的,没有这个文件时,爬虫可以抓取任何网页(RFC 9309)。
robots.txt 能把网页从 Google 移除吗?
不能。它阻止的是抓取,不是索引。请使用 noindex,或按照从 Google 移除信息中的步骤操作。
能用 robots.txt 屏蔽 AI 机器人吗?
能,但只对遵守它的机器人有效,方法是逐个写出机器人的 user-agent。该屏蔽哪些,见该屏蔽 AI 爬虫吗?。
Google 多久能看到我的修改?
通常一天之内,因为 Google 会缓存这个文件最多 24 小时(Google)。
您的情况不同?
- 您的网站完全不在 Google 上: Disallow: / 只是几种原因之一。请逐项排查网站为什么不在 Google 上显示。
- Search Console 显示网页已抓取但未编入索引: 这不是 robots.txt 的问题。参见已抓取或已发现,尚未编入索引。
- 您希望 AI 助手引用您,但不拿您的内容训练: 参见屏蔽 AI 爬虫。
- 您更希望有人帮您把抓取设置管好: 参见 /seo/。