robots.txt 设置:一步步创建、上传和测试文件
简短回答 用任何纯文本编辑器编写 robots.txt,加一行 User-agent 和您的 Allow 或 Disallow 规则,然后放在域名根目录,例如 example.com/robots.txt。在无痕窗口中打开这个地址,再到 Search Console 的 robots.txt 报告中检查。大多数小型网站只需要三行,或者根本不需要自定义文件。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话如何创建 robots.txt 文件:四个步骤
Google 的文档把这项工作分成四步:创建文件、添加规则、上传到网站根目录、测试(Google Crawling Infrastructure: How to write and submit a robots.txt file)。
| 步骤 | 做什么 | 容易出错的地方 |
|---|---|---|
| 1. 创建 | 打开记事本(Notepad)或 TextEdit,以 UTF-8 编码保存为 robots.txt | 文字处理软件会加入弯引号和隐藏格式 |
| 2. 添加规则 | 一行 User-agent,然后是 Allow 或 Disallow 行 | 一行多余的 “Disallow: /” 会挡住整个网站 |
| 3. 上传 | 放在域名的最顶层 | 放在子文件夹里的文件会被忽略 |
| 4. 测试 | 在无痕窗口中打开,再检查 Search Console | 测试了错误的版本(http 与 https,带 www 与不带) |
先确认您是否需要做任何事。没有 robots.txt 文件时,爬虫可以访问所有内容:Google 表示,除非文件另有规定,“all files are implicitly allowed for crawling”(所有文件都默认允许抓取)。很多建站工具也会替您生成这个文件。
robots.txt 文件应该包含什么?
对大多数服务型企业网站来说,三行就够了。这也是 Google 自己的简单示例用的格式:
| 行 | 含义 |
|---|---|
| User-agent: * | 下面的规则适用于所有爬虫 |
| Allow: / | 所有页面都可以抓取 |
| Sitemap: https://www.example.com/sitemap.xml | 您的页面列表所在位置 |
只为在搜索中没有价值的页面加 Disallow 行,例如站内搜索结果页或结账页。Google 规范中重要的规则:
- 每组规则以 User-agent 开头。 它指明是哪个机器人。星号表示所有机器人,但有一个例外:它不包括 Google 的 AdsBot 爬虫,这些爬虫“must be named explicitly”(必须明确写出名称)。
- 路径以斜杠开头。 文件夹也以斜杠结尾:Disallow: /checkout/。
- 路径区分大小写。 Google 的例子:针对 /file.asp 的规则不适用于 /FILE.asp。
- 更具体的规则优先。 当 Allow 和 Disallow 同时匹配时,Google 采用路径更长的那条;长度相同时,采用“the least restrictive rule”(限制最少的规则)。
- 两种通配符。 星号匹配任意字符;美元符号表示 URL 结尾。Google 的例子 Disallow: /*.gif$ 会阻止抓取所有 GIF。
- Sitemap 需要完整地址,包括 https://,如果您用 www 也要带上。
- # 开始一条注释。 爬虫会忽略这一行后面的内容。
Google 只读取四个字段:user-agent、allow、disallow 和 sitemap。它表示“other fields such as crawl-delay aren't supported”(不支持 crawl-delay 等其他字段)。有些其他爬虫会读取 crawl-delay,但它不会让 Google 放慢速度。
robots.txt 文件放在哪里?
放在访客实际使用的那个主机的根目录:https://www.example.com/robots.txt。Google 对此要求很严格:
"The robots.txt file must be located at the root of the site host to which it applies." (Google Crawling Infrastructure: How to write and submit a robots.txt file) 译文:“robots.txt 文件必须位于其所适用的网站主机的根目录。”
每个主机都需要自己的文件。https://example.com/robots.txt 中的规则不适用于 shop.example.com 这样的子域名,而且每个主机只能有一个 robots.txt。如果您无法访问网站根目录,Google 建议询问您的主机商,或改用页面级的 meta 标签。
如何在 WordPress、Shopify 或 Wix 上编辑 robots.txt
大多数网站主从不手动上传文件。平台要么自动生成一个,要么提供编辑器。
| 平台 | 默认情况 | 如何修改 |
|---|---|---|
| WordPress(自托管) | WordPress 提供一个虚拟文件,挡住后台管理区 | Yoast SEO:工具(Tools),然后文件编辑器(File Editor)。或者把真实的 robots.txt 上传到网站根目录;只有在没有真实文件时,WordPress 才显示虚拟文件(Yoast SEO Help) |
| Shopify | 默认文件“works for most stores”(适用于大多数商店) | 在线商店(Online Store)、主题、编辑代码(Edit code)、添加新模板(Add a new template)、robots。Shopify 客服不协助修改 |
| Wix | 默认所有页面都对机器人开放 | SEO & GEO 仪表板、工具和设置(Tools and settings)、Robots.txt 编辑器(Robots.txt Editor)。“恢复默认”(Reset to Default)按钮可撤销修改 |
| 其他建站工具 | 各不相同 | Google 指出有些主机不允许编辑这个文件;可以找找搜索可见性设置 |
来源:WordPress Developer Resources (do_robots)、Yoast SEO Help、Shopify Help Center、Wix Help Center。
WordPress 有一个细节常让人出错。“Discourage search engines”(建议搜索引擎不索引本站点)选项已不再往 robots.txt 里加 “Disallow: /”。从 WordPress 5.3 起,它改为在页面中加入 noindex meta 标签(WordPress Developer Resources: do_robots)。所以如果您的网站从 Google 上消失了,除了检查文件,也要检查这个选项。
Shopify 警告说,错误的修改“can result in loss of all traffic”(可能导致失去全部流量)。请编辑模板,而不是用纯文本替换它,这样 Shopify 才能持续更新它的默认规则。
如何测试 robots.txt 文件?
分三轮测试,从最简单到最精确。
- 在浏览器无痕窗口中打开 yourdomain.com/robots.txt。如果能看到您的规则,说明文件是公开的。使用访客实际看到的那个版本(https,带或不带 www);每个版本都是独立的主机,有各自的文件。
- Search Console 的 robots.txt 报告。 Google 指定它为修复 robots.txt 问题的地方,适用于已经在网站上线的文件。里面有 Google 持有的文件副本,以及“请求重新抓取”(Request a recrawl)按钮。设置方法见 小企业如何使用 Google Search Console。
- 用 Bing 的 robots.txt 测试工具检查单个页面。 在 Bing Webmaster Tools 中输入一个 URL,工具会模拟 Bingbot 的行为,显示这个 URL 是允许还是被挡住(Bing Blog, September 2020)。您可以在工具里修改规则并重新测试,然后再上传。
Google 多久能看到我的修改?
最多大约一天。Google“generally caches the contents of robots.txt file for up to 24 hours”(通常会把 robots.txt 文件内容缓存最多 24 小时),如果无法获取新副本,时间会更长(Google: robots.txt specification)。如需紧急修复,robots.txt 报告中有“请求重新抓取”选项(Google Crawling Infrastructure: Update your robots.txt file)。
服务器的响应和文件本身一样重要:
| 服务器返回 | Google 的做法 |
|---|---|
| 200 并返回文件 | 遵循规则 |
| 404 或其他 4xx(429 除外) | 视为没有文件:抓取所有内容 |
| 5xx 错误 | 停止抓取 12 小时,然后在最多 30 天内使用最后一份正常副本 |
| 超过五次重定向 | 视为 404 |
Google 会忽略超过 500 KiB(kibibyte)的部分,这远超小型网站的实际需要。
robots.txt 常见错误
- 建站时留下的 “Disallow: /”。 它会对所指定的机器人挡住所有页面。网站在 Google 上搜不到时,先检查这一点;见 网站在 Google 上搜不到。
- 用 Disallow 隐藏页面。 Google 表示,被挡住的页面“can still be indexed if linked to from other sites”(如果有其他网站链接到它,仍可能被编入索引)。请改用 noindex 或密码保护,而且不要挡住带 noindex 的页面,否则 Google 永远读不到这个标签。
- 挡住页面需要的 CSS 或脚本文件。 如果这让 Google 的爬虫更难理解页面,Google 会警告不要这样做。
- 把它当作安全措施。 IETF 标准指出,这些规则“are not a form of access authorization”(不是一种访问授权方式)。恶意机器人可以无视它们。
- 误挡 AI 搜索机器人,而您本来只想挡住训练用的机器人。见 是否应该屏蔽 AI 爬虫?
示例
一家使用 WordPress 的清洁公司
网站显示的是 WordPress 生成的虚拟文件:后台管理区被挡住,其他全部开放。店主通过 Yoast 的文件编辑器加了一行 Sitemap,在无痕窗口中打开文件,Search Console 报告中没有发现错误。总共用时:10 分钟。
一个从未出现在 Google 上的新园林绿化网站
开发人员在建站时留下了 “User-agent: *” 和 “Disallow: /”。店主删除 Disallow 这一行,点击“请求重新抓取”,Google 在一天内获取了新文件。
一家有站内搜索页的 Shopify 商店
爬虫抓取了数千个搜索结果 URL。商店在 robots.txt.liquid 中为该路径加了一条 Disallow 规则,然后用 Bing 的测试工具检查一个产品 URL 和一个搜索 URL:产品页允许,搜索页被挡住。
常见问题
我到底需不需要 robots.txt 文件?
不需要。没有它,爬虫可以访问每个页面,这正是大多数小企业想要的。不过如果您想列出网站地图,或不让机器人进入结账等页面,有一个文件还是有帮助的。
可以把 robots.txt 提交给 Google 吗?
没有什么需要提交。Google 会自己在域名根目录找到这个文件;只有在修改后需要尽快生效时,才在 robots.txt 报告中使用“请求重新抓取”。
robots.txt 能把页面从 Google 上删除吗?
不能。它阻止的是抓取,不是索引,所以被挡住的 URL 仍可能显示出来,只是没有描述。要删除页面,请使用 noindex,或按照 从 Google 删除信息 中的步骤操作。
robots.txt 文件最大可以多大?
Google 读取前 500 KiB,忽略其余部分。IETF 标准把这个大小定为任何爬虫至少必须读取的量。
Google 遵循 crawl-delay 吗?
不遵循。Google 把 crawl-delay 列为不支持。如果 Googlebot 让您的服务器负载过重,Google 会引导您参考它另外的降低抓取频率指南。
您的情况不同?
- Search Console 显示“被 robots.txt 屏蔽”或“已抓取,尚未编入索引”:Search Console 中页面未编入索引。
- 您希望 ChatGPT 和 Perplexity 能找到您,但不想让它们用您的页面训练:是否应该屏蔽 AI 爬虫?
- 您的平台不允许编辑这个文件,您在考虑换平台:Wix 或 Squarespace 对 SEO 不好吗?
- 您更希望有人帮您设置并检查抓取和索引:SEO 与 GEO 智能体。