产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

robots.txt 设置:一步步创建、上传和测试文件

更新于 · 阅读约 7 分钟

简短回答 用任何纯文本编辑器编写 robots.txt,加一行 User-agent 和您的 Allow 或 Disallow 规则,然后放在域名根目录,例如 example.com/robots.txt。在无痕窗口中打开这个地址,再到 Search Console 的 robots.txt 报告中检查。大多数小型网站只需要三行,或者根本不需要自定义文件。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

如何创建 robots.txt 文件:四个步骤

Google 的文档把这项工作分成四步:创建文件、添加规则、上传到网站根目录、测试(Google Crawling Infrastructure: How to write and submit a robots.txt file)。

步骤做什么容易出错的地方
1. 创建打开记事本(Notepad)或 TextEdit,以 UTF-8 编码保存为 robots.txt文字处理软件会加入弯引号和隐藏格式
2. 添加规则一行 User-agent,然后是 Allow 或 Disallow 行一行多余的 “Disallow: /” 会挡住整个网站
3. 上传放在域名的最顶层放在子文件夹里的文件会被忽略
4. 测试在无痕窗口中打开,再检查 Search Console测试了错误的版本(http 与 https,带 www 与不带)

先确认您是否需要做任何事。没有 robots.txt 文件时,爬虫可以访问所有内容:Google 表示,除非文件另有规定,“all files are implicitly allowed for crawling”(所有文件都默认允许抓取)。很多建站工具也会替您生成这个文件。

robots.txt 文件应该包含什么?

对大多数服务型企业网站来说,三行就够了。这也是 Google 自己的简单示例用的格式:

行含义
User-agent: *下面的规则适用于所有爬虫
Allow: /所有页面都可以抓取
Sitemap: https://www.example.com/sitemap.xml您的页面列表所在位置

只为在搜索中没有价值的页面加 Disallow 行,例如站内搜索结果页或结账页。Google 规范中重要的规则:

  • 每组规则以 User-agent 开头。 它指明是哪个机器人。星号表示所有机器人,但有一个例外:它不包括 Google 的 AdsBot 爬虫,这些爬虫“must be named explicitly”(必须明确写出名称)。
  • 路径以斜杠开头。 文件夹也以斜杠结尾:Disallow: /checkout/。
  • 路径区分大小写。 Google 的例子:针对 /file.asp 的规则不适用于 /FILE.asp。
  • 更具体的规则优先。 当 Allow 和 Disallow 同时匹配时,Google 采用路径更长的那条;长度相同时,采用“the least restrictive rule”(限制最少的规则)。
  • 两种通配符。 星号匹配任意字符;美元符号表示 URL 结尾。Google 的例子 Disallow: /*.gif$ 会阻止抓取所有 GIF。
  • Sitemap 需要完整地址,包括 https://,如果您用 www 也要带上。
  • # 开始一条注释。 爬虫会忽略这一行后面的内容。

Google 只读取四个字段:user-agent、allow、disallow 和 sitemap。它表示“other fields such as crawl-delay aren't supported”(不支持 crawl-delay 等其他字段)。有些其他爬虫会读取 crawl-delay,但它不会让 Google 放慢速度。

robots.txt 文件放在哪里?

放在访客实际使用的那个主机的根目录:https://www.example.com/robots.txt。Google 对此要求很严格:

"The robots.txt file must be located at the root of the site host to which it applies." (Google Crawling Infrastructure: How to write and submit a robots.txt file) 译文:“robots.txt 文件必须位于其所适用的网站主机的根目录。”

每个主机都需要自己的文件。https://example.com/robots.txt 中的规则不适用于 shop.example.com 这样的子域名,而且每个主机只能有一个 robots.txt。如果您无法访问网站根目录,Google 建议询问您的主机商,或改用页面级的 meta 标签。

如何在 WordPress、Shopify 或 Wix 上编辑 robots.txt

大多数网站主从不手动上传文件。平台要么自动生成一个,要么提供编辑器。

平台默认情况如何修改
WordPress(自托管)WordPress 提供一个虚拟文件,挡住后台管理区Yoast SEO:工具(Tools),然后文件编辑器(File Editor)。或者把真实的 robots.txt 上传到网站根目录;只有在没有真实文件时,WordPress 才显示虚拟文件(Yoast SEO Help)
Shopify默认文件“works for most stores”(适用于大多数商店)在线商店(Online Store)、主题、编辑代码(Edit code)、添加新模板(Add a new template)、robots。Shopify 客服不协助修改
Wix默认所有页面都对机器人开放SEO & GEO 仪表板、工具和设置(Tools and settings)、Robots.txt 编辑器(Robots.txt Editor)。“恢复默认”(Reset to Default)按钮可撤销修改
其他建站工具各不相同Google 指出有些主机不允许编辑这个文件;可以找找搜索可见性设置

来源:WordPress Developer Resources (do_robots)、Yoast SEO Help、Shopify Help Center、Wix Help Center。

WordPress 有一个细节常让人出错。“Discourage search engines”(建议搜索引擎不索引本站点)选项已不再往 robots.txt 里加 “Disallow: /”。从 WordPress 5.3 起,它改为在页面中加入 noindex meta 标签(WordPress Developer Resources: do_robots)。所以如果您的网站从 Google 上消失了,除了检查文件,也要检查这个选项。

Shopify 警告说,错误的修改“can result in loss of all traffic”(可能导致失去全部流量)。请编辑模板,而不是用纯文本替换它,这样 Shopify 才能持续更新它的默认规则。

如何测试 robots.txt 文件?

分三轮测试,从最简单到最精确。

  1. 在浏览器无痕窗口中打开 yourdomain.com/robots.txt。如果能看到您的规则,说明文件是公开的。使用访客实际看到的那个版本(https,带或不带 www);每个版本都是独立的主机,有各自的文件。
  2. Search Console 的 robots.txt 报告。 Google 指定它为修复 robots.txt 问题的地方,适用于已经在网站上线的文件。里面有 Google 持有的文件副本,以及“请求重新抓取”(Request a recrawl)按钮。设置方法见 小企业如何使用 Google Search Console。
  3. 用 Bing 的 robots.txt 测试工具检查单个页面。 在 Bing Webmaster Tools 中输入一个 URL,工具会模拟 Bingbot 的行为,显示这个 URL 是允许还是被挡住(Bing Blog, September 2020)。您可以在工具里修改规则并重新测试,然后再上传。

Google 多久能看到我的修改?

最多大约一天。Google“generally caches the contents of robots.txt file for up to 24 hours”(通常会把 robots.txt 文件内容缓存最多 24 小时),如果无法获取新副本,时间会更长(Google: robots.txt specification)。如需紧急修复,robots.txt 报告中有“请求重新抓取”选项(Google Crawling Infrastructure: Update your robots.txt file)。

服务器的响应和文件本身一样重要:

服务器返回Google 的做法
200 并返回文件遵循规则
404 或其他 4xx(429 除外)视为没有文件:抓取所有内容
5xx 错误停止抓取 12 小时,然后在最多 30 天内使用最后一份正常副本
超过五次重定向视为 404

Google 会忽略超过 500 KiB(kibibyte)的部分,这远超小型网站的实际需要。

robots.txt 常见错误

  • 建站时留下的 “Disallow: /”。 它会对所指定的机器人挡住所有页面。网站在 Google 上搜不到时,先检查这一点;见 网站在 Google 上搜不到。
  • 用 Disallow 隐藏页面。 Google 表示,被挡住的页面“can still be indexed if linked to from other sites”(如果有其他网站链接到它,仍可能被编入索引)。请改用 noindex 或密码保护,而且不要挡住带 noindex 的页面,否则 Google 永远读不到这个标签。
  • 挡住页面需要的 CSS 或脚本文件。 如果这让 Google 的爬虫更难理解页面,Google 会警告不要这样做。
  • 把它当作安全措施。 IETF 标准指出,这些规则“are not a form of access authorization”(不是一种访问授权方式)。恶意机器人可以无视它们。
  • 误挡 AI 搜索机器人,而您本来只想挡住训练用的机器人。见 是否应该屏蔽 AI 爬虫?

示例

一家使用 WordPress 的清洁公司

网站显示的是 WordPress 生成的虚拟文件:后台管理区被挡住,其他全部开放。店主通过 Yoast 的文件编辑器加了一行 Sitemap,在无痕窗口中打开文件,Search Console 报告中没有发现错误。总共用时:10 分钟。

一个从未出现在 Google 上的新园林绿化网站

开发人员在建站时留下了 “User-agent: *” 和 “Disallow: /”。店主删除 Disallow 这一行,点击“请求重新抓取”,Google 在一天内获取了新文件。

一家有站内搜索页的 Shopify 商店

爬虫抓取了数千个搜索结果 URL。商店在 robots.txt.liquid 中为该路径加了一条 Disallow 规则,然后用 Bing 的测试工具检查一个产品 URL 和一个搜索 URL:产品页允许,搜索页被挡住。

常见问题

我到底需不需要 robots.txt 文件?

不需要。没有它,爬虫可以访问每个页面,这正是大多数小企业想要的。不过如果您想列出网站地图,或不让机器人进入结账等页面,有一个文件还是有帮助的。

可以把 robots.txt 提交给 Google 吗?

没有什么需要提交。Google 会自己在域名根目录找到这个文件;只有在修改后需要尽快生效时,才在 robots.txt 报告中使用“请求重新抓取”。

robots.txt 能把页面从 Google 上删除吗?

不能。它阻止的是抓取,不是索引,所以被挡住的 URL 仍可能显示出来,只是没有描述。要删除页面,请使用 noindex,或按照 从 Google 删除信息 中的步骤操作。

robots.txt 文件最大可以多大?

Google 读取前 500 KiB,忽略其余部分。IETF 标准把这个大小定为任何爬虫至少必须读取的量。

Google 遵循 crawl-delay 吗?

不遵循。Google 把 crawl-delay 列为不支持。如果 Googlebot 让您的服务器负载过重,Google 会引导您参考它另外的降低抓取频率指南。

您的情况不同?

继续阅读

下一篇会让 Google 无法抓取网站的 robots.txt 错误,以及修复方法这些 robots.txt 错误会悄悄把网站藏起来:遗留的测试站屏蔽、被屏蔽的 CSS、范围过宽的通配符、无效的规则。教您逐一发现并修复。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Crawling Infrastructure: How to write and submit a robots.txt file
  2. Google Crawling Infrastructure: How Google interprets the robots.txt specification
  3. Google Crawling Infrastructure: Update your robots.txt file
  4. Google Crawling Infrastructure: Useful robots.txt rules
  5. Google Search Central: Block Search indexing with noindex
  6. Google Search Central: Introduction to robots.txt
  7. RFC 9309: Robots Exclusion Protocol (IETF, September 2022)
  8. Bing Blog: Bing Webmaster Tools makes it easy to edit and verify your robots.txt (September 2020)
  9. WordPress Developer Resources: do_robots()
  10. Yoast SEO Help: How to edit robots.txt through Yoast SEO
  11. Shopify Help Center: Editing robots.txt.liquid
  12. Wix Help Center: Editing your site's robots.txt file