产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

Robots.txt 是什么:怎么运作,又做不到什么

更新于 · 阅读约 6 分钟

简短回答 Robots.txt 是放在 yoursite.com/robots.txt 的纯文本文件,告诉爬虫哪些网址可以访问。它控制的是抓取,不是索引:Google 明确说它不是让网页不出现在搜索中的方法。它是请求,不是门锁:私密页面需要密码,不想出现在 Google 的页面要用 noindex。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

robots.txt 文件是什么

它是一个放在域名根目录的简短文本文件,比如 example.com/robots.txt,告诉搜索引擎爬虫(抓取网页的程序,比如 Googlebot)网站的哪些部分可以访问。任何人都能查看,包括您自己:在浏览器里输入您的域名加 /robots.txt 即可。

它真正的作用是管理爬虫流量。Google 搜索中心把界限说得很清楚:

"This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central: Introduction to robots.txt) 译文:“它主要用于避免您的网站因请求过多而超负荷;它不是让网页不出现在 Google 中的机制。”

这个格式由来已久。Martijn Koster 在 1994 年制定了它,互联网工程任务组(IETF)在 2022 年 9 月把它发布为标准轨道文件 RFC 9309(RFC 9309)。

robots.txt 文件长什么样?

只有几行,每行是字段名、冒号和值。下面是一个典型小企业的文件,逐行说明:

行意思
User-agent: *下面的规则适用于所有爬虫
Disallow: /cart/不要抓取路径以 /cart/ 开头的任何内容
Disallow: /*?sort=不要抓取列表页按排序生成的副本
Allow: /cart/help这一页例外,可以抓取
Sitemap: https://example.com/sitemap.xml您的网页清单所在位置

Google 只读取四个字段;其他字段(比如 crawl-delay)一律忽略(Google: robots.txt specification):

字段含义说明
user-agent这组规则针对哪个爬虫* 表示任何爬虫
disallow爬虫不应抓取的路径不带路径的 disallow 什么也不屏蔽
allow可以抓取的路径,即使在被屏蔽的文件夹里用来设置例外
sitemap站点地图的完整网址适用于所有爬虫;可以列出多个

可以屏蔽图片、脚本或样式文件,但 Google 提醒不要屏蔽它理解网页所需的那些文件(Google Search Central)。

以 # 开头的行是注释,爬虫会跳过,适合注明某条规则为什么存在。如果一条规则都没有,整个网站都可以被抓取(Google: robots.txt specification)。

规则如何匹配网页?

每条规则都和网页路径(网址中域名之后的部分)的开头进行比较。有三个细节最容易出错(Google: robots.txt specification):

  • 路径区分大小写,并以 / 开头。 Disallow: /fish 会屏蔽 /fish.html 和 /fishheads,但不会屏蔽 /Fish.asp 或 /catfish。
  • 只有两种通配符。 * 代表任意一串字符,$ 表示网址结尾。不支持正则表达式(程序员在别处用的模式匹配代码)。
  • 匹配最长的规则优先。 如果 allow 和 disallow 匹配长度相同,Google 选择限制较少的那条,也就是 allow。
规则屏蔽不屏蔽
Disallow: /整个网站无
Disallow: /fish//fish/salmon.htm/fish.html、/animals/fish/
Disallow: /*.pdf$/menu.pdf/menu.pdf?v=2
Disallow:无(空规则)全部

哪个爬虫遵守哪些规则?

每个爬虫只遵守一组规则:最具体点名它的那一组。Google 说“Other groups are ignored”(其他组会被忽略)(Google: robots.txt specification)。所以如果您添加了 User-agent: Googlebot 组,Googlebot 就完全不再读取您的 User-agent: * 组。共用的规则也要复制到 Googlebot 组里。各组在文件中的顺序无关紧要。

robots.txt 做不到什么

大多数老板就是在这里出错。这个文件只是一个礼貌的请求,守规矩的爬虫才会遵守。除此之外它什么也改变不了。

您想要robots.txt 能做到吗?改用
让网页不出现在 Google 结果中不能。被屏蔽的网址如果有其他网站链接,仍可能出现,只是没有描述(Google)noindex 标签(PDF 用 X-Robots-Tag 响应头)、密码,或删除网页(Google)
隐藏私密文件不能。在公开文件里列出路径,等于公开告诉别人(RFC 9309)密码或登录
拦住爬取工具和恶意机器人不能。“it's up to the crawler to obey them”(是否遵守由爬虫自己决定)(Google)在服务器或防火墙层面屏蔽
让 Googlebot 放慢速度不能。Google 忽略 crawl-delay,而 Search Console 的抓取速度工具已于 2024 年 1 月 8 日下线(Google Blog)短时间内返回 500、503 或 429 状态码(Google)
覆盖 blog.example.com 或 http 版本不能。每个主机、协议和端口都需要各自的文件(Google)每个子域名一个文件

标准本身说得很直白:

"These rules are not a form of access authorization." (RFC 9309) 译文:“这些规则不是一种访问授权。”

由此产生一个陷阱。如果您在 robots.txt 中屏蔽了某个网页,同时又给它加了 noindex 标签,Google 根本不会抓取这个网页,也就看不到 noindex:“the crawler will never see the noindex rule, and the page can still appear in search results”(爬虫永远看不到 noindex 规则,网页仍可能出现在搜索结果中)(Google Search Central: Block indexing)。要让网页从 Google 消失,就让它保持可抓取,交给 noindex 处理。

我需要 robots.txt 文件吗?

不一定。如果文件不存在(服务器返回 404),Google 会视为网站没有抓取限制,正常抓取(Google: robots.txt specification)。大多数小网站没有它也没有任何损失。Wix 或 Blogger 等托管建站工具可能会替您管理这个文件,并提供搜索设置页面来代替(Google Search Central)。

真正有害的是出错的文件。如果服务器对 robots.txt 返回错误(5xx),Google 会在最初 12 小时内停止抓取网站,之后最多 30 天使用上一份正常的副本(Google: robots.txt specification)。

放在哪里,修改何时生效

  • 位置: 只能放在主机的根目录。放在 example.com/folder/robots.txt 的文件永远不会被读取(Google)。
  • 名称和格式: 必须叫 robots.txt,纯 UTF-8 文本,每个网站一个文件(Google)。
  • 大小: Google 只读取前 500 KiB,其余部分忽略(Google)。
  • 延迟: Google 通常会缓存这个文件最多 24 小时,所以修改不会立即生效(Google)。
  • 检查: Google 的工具是 Search Console 中的 robots.txt 报告(Google)。参见值得一看的 Search Console 报告。

示例

一家园林公司的文件写着 Disallow: /

网站上线时直接用了测试环境的副本,而那份副本告诉所有爬虫不要进入。来自搜索的潜在客户为零。删掉那一行,再等大约一天让 Google 重新获取文件,抓取就会恢复。

一家诊所想隐藏员工门户

老板加了 Disallow: /staff-portal/。这能阻止 Google 抓取,却把文件夹名称公开给了任何打开 robots.txt 的人。门户需要的是登录;robots.txt 这一行毫无帮助。

一家有 2,000 个筛选页的网店

排序和筛选选项会为每个分类页生成成千上万个几乎相同的副本。Disallow: /*?sort= 这样的规则能让爬虫留在真正的页面上。这正是 robots.txt 的本职工作。

常见问题

每个网站都有 robots.txt 文件吗?

没有。它是可选的,没有这个文件时,爬虫可以抓取任何网页(RFC 9309)。

robots.txt 能把网页从 Google 移除吗?

不能。它阻止的是抓取,不是索引。请使用 noindex,或按照从 Google 移除信息中的步骤操作。

能用 robots.txt 屏蔽 AI 机器人吗?

能,但只对遵守它的机器人有效,方法是逐个写出机器人的 user-agent。该屏蔽哪些,见该屏蔽 AI 爬虫吗?。

Google 多久能看到我的修改?

通常一天之内,因为 Google 会缓存这个文件最多 24 小时(Google)。

您的情况不同?

继续阅读

下一篇Google 收录一个页面要多久,以及如何加快新网站、新页面、更新过的页面或迁移后的网站,Google 编入索引各需要多久(引用 Google 原话),以及真正能加快速度的几个步骤。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Search Central: Introduction to robots.txt
  2. Google Crawling Infrastructure: How Google interprets the robots.txt specification
  3. Google Crawling Infrastructure: Create and submit a robots.txt file
  4. Google Search Central: Block Search indexing with noindex
  5. Google Crawling Infrastructure: Reduce the Google crawl rate
  6. Google Search Central Blog: Upcoming deprecation of Crawl Rate Limiter Tool (November 2023)
  7. IETF RFC 9309: Robots Exclusion Protocol (September 2022)