训练爬虫与搜索爬虫:怎么区分
每家 AI 公司都用不同的爬虫来训练模型和查找可引用的网页。屏蔽前一种,对客户毫无影响。屏蔽后一种,那个 AI 助手就无法提到您。
| 公司 | 仅用于训练 | 搜索:屏蔽后您会消失 | 用户提问时抓取网页 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | 未列出 | PerplexityBot | Perplexity-User |
| Google-Extended(也影响 Gemini 应用的回答) | Googlebot | ||
| Apple | Applebot-Extended | Applebot(Siri、Spotlight、Safari) | |
| Microsoft | 未列出单独的爬虫 | Bingbot(Bing 和 Copilot) |
来源:OpenAI、Anthropic、Perplexity、Google、Apple、Bing。
OpenAI 明确说明这是两个独立的选择:
"Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI's generative AI foundation models." (OpenAI) 译文:“每项设置都互不影响——例如,网站管理员可以允许 OAI-SearchBot 以出现在搜索结果中,同时禁止 GPTBot,表示抓取的内容不应用于训练 OpenAI 的生成式 AI 基础模型。”
屏蔽搜索爬虫的代价:屏蔽了 OAI-SearchBot 的网站“will not be shown in ChatGPT search answers, though can still appear as navigational links”(不会出现在 ChatGPT 的搜索回答中,但仍可能以导航链接的形式出现)(OpenAI)。Anthropic 对 Claude-SearchBot 的说法也一样:屏蔽它“may reduce your site's visibility and accuracy in user search results”(可能降低您的网站在用户搜索结果中的可见度和准确度)(Anthropic)。
我该屏蔽 GPTBot 吗?
由您决定,而且不会让您从 ChatGPT 的回答中消失。GPTBot 只收集“that may be used in training”(可能用于训练)的网页(OpenAI)。Apple 对它的训练标识说得同样清楚:“Webpages that disallow Applebot-Extended can still be included in search results”(禁止 Applebot-Extended 的网页仍可出现在搜索结果中)(Apple)。
对大多数服务型企业来说,屏蔽与否影响都不大。列出您的服务、服务地区和营业时间的网页,本来就是希望被转述的。如果是原创文章或付费课程内容,屏蔽的理由就更充分。
Google-Extended 的陷阱
屏蔽 Google-Extended 后,您仍留在 Google 搜索中,但会从 Gemini 应用基于来源的回答中消失。Google 用这个标识控制 Gemini 的训练,以及“in Gemini Apps”(在 Gemini 应用中)用其搜索索引内容为回答提供依据(Google)。
"Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search." (Google) 译文:“Google-Extended 不影响网站是否被收录到 Google 搜索中,也不作为 Google 搜索的排名信号。”
Google 的 AI 概览和 AI 模式有自己的开关。自 2026 年 8 月 31 日起,每个网站都可以在 Search Console 的“设置”下找到“搜索生成式 AI 控制”(Search generative AI control)。选择排除后,您的网站将不会出现在 AI 概览、AI 模式和 Discover 的 AI 功能中:
"You won't receive any traffic or impressions from these features." (Search Console Help) 译文:“您将不会从这些功能获得任何流量或展示次数。”
Google 表示这个开关“isn't used as a ranking or inclusion signal affecting other parts of Search”(不会作为影响搜索其他部分的排名或收录信号)(Search Console Help)。对想要客户的商家来说,保持“包含”(Include)是合理的。
如何在 robots.txt 中屏蔽 AI 爬虫
在网站根目录的 robots.txt 文件中,每个爬虫加两行。要让训练爬虫远离整个网站:
| 行 | 含义 |
|---|---|
| User-agent: GPTBot | 下一条规则针对 OpenAI 的训练爬虫 |
| Disallow: / | 不要抓取任何网页 |
| User-agent: ClaudeBot | Anthropic 的训练爬虫 |
| Disallow: / | 不要抓取任何网页 |
| User-agent: Applebot-Extended | Apple 的训练标识 |
| Disallow: / | 不要用任何网页做训练 |
- 只屏蔽一个文件夹:在 Disallow 后面写上路径,例如 /blog/。Google 自己的示例就是这样屏蔽一个存档文件夹的(Google)。
- 每个子域名都要重复设置。 Anthropic 要求“for every subdomain that you wish to opt out from”(在每个您希望退出的子域名上)都加上规则(Anthropic)。
- 等一天。 OpenAI 和 Perplexity 都表示更改大约需要 24 小时生效(OpenAI、Perplexity)。
除非您想退出这些回答,否则不要为 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot、Googlebot、Bingbot 或 Applebot 添加 Disallow 规则。
robots.txt 不是安全措施:noindex 与 disallow
robots.txt 只是一个请求。Google 说:“it's up to the crawler to obey them”(是否遵守由爬虫自己决定)(Google Search Central)。两个由用户触发的抓取程序直接表示可能不遵守:ChatGPT-User(“robots.txt rules may not apply”,robots.txt 规则可能不适用)和 Perplexity-User(“generally ignores robots.txt rules”,通常忽略 robots.txt 规则)(OpenAI、Perplexity)。
"A robots.txt file tells search engine crawlers which URLs the crawler can access on your site. This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central) 译文:“robots.txt 文件告诉搜索引擎爬虫可以访问您网站上的哪些网址。它主要用于避免您的网站因请求过多而超负荷;它并不是让网页不出现在 Google 中的机制。”
| 您想要 | 使用 | 原因 |
|---|---|---|
| 阻止爬虫抓取 | robots.txt 的 Disallow | 如果其他网站链接到被禁止的网页,它仍可能被收录(Google) |
| 让网页不出现在 Google 中 | noindex,且不要同时在 robots.txt 中屏蔽 | Google 必须抓取网页才能看到 noindex(Google) |
| 让文件保密 | 密码 | robots.txt 无法强制执行任何东西(Google) |
| 尽快从 Google 隐藏网页 | Search Console 的“移除”工具(Removals) | 效果约持续六个月,所以还要加 noindex 或删除网页(Search Console Help) |
Cloudflare 和其他防火墙
先检查防火墙,再看 robots.txt。被防火墙拦下的爬虫根本读不到您的规则。
2025 年 7 月起,Cloudflare 在每个新域名注册时询问是否允许 AI 爬虫,默认选项是屏蔽(Cloudflare)。它的文档于 2026 年 11 月 2 日更新,现在表示新域名对搜索、代理和训练爬虫默认允许(Cloudflare Docs)。如果您的网站是在这段时间之间设置的,请检查当时选了什么。
依次进入 Security、Settings,再找到 AI Crawler and Agent access policies。有两点很重要(Cloudflare Docs):
- 设置分为 Search(搜索)、Agent(代理)和 Training(训练)三类。保持 Search 为允许。
- “Training actions also apply to mixed-purpose crawlers used for both Search and Training.”(训练类操作也适用于同时用于搜索和训练的混合用途爬虫。)屏蔽 Training 可能连带屏蔽一个搜索爬虫。选择 Disallow(即 robots.txt 规则)更温和。
Bing 和 Copilot:用 meta 标签控制
Bing 没有列出单独的 AI 爬虫:Bingbot 同时为 Bing 和 Copilot 抓取。要限制 Copilot 又不退出 Bing,可以使用 Bing 的页面级标签:
"NOARCHIVE prevents content from being used in Copilot responses and grounding results." (Bing Webmaster Guidelines) 译文:“NOARCHIVE 可防止内容被用于 Copilot 的回答和依据结果。”
NOCACHE 是折中设置:Copilot 只能使用“the URL, title, and snippet”(网址、标题和摘要)(Bing Webmaster Guidelines)。
示例
一位主机商屏蔽了“AI 抓取程序”的水管工
防火墙的 AI 设置屏蔽了所有爬虫,所以 ChatGPT 和 Perplexity 从不引用这个网站。解决办法:Search 和 Agent 设为允许,Training 设为 Disallow。客户的 AI 助手现在能读取服务页面;训练爬虫仍被要求不要进入。
一位写原创文章的心理治疗师
她禁止了 GPTBot、ClaudeBot 和 Applebot-Extended。她没有动 Google-Extended,所以 Gemini 应用仍能使用她的网页,并让所有搜索爬虫保持允许。
一家有客户文件夹的律师事务所
这个文件夹用 robots.txt 的 Disallow“隐藏”起来,而这只是请求爬虫不要进入。解决办法是给文件夹加登录,并给已经被收录的网页加上 noindex。
您的情况不同?
- 您想要更多 AI 提及,而不是更少:如何在 Perplexity、Gemini 和 Claude 中获得排名,以及让 ChatGPT 推荐您。
- 您的网站根本不在 Google 上:网站没有出现在 Google 上。
- 有关您商家的某些信息需要从 Google 上删除:从 Google 删除信息。
- 有人向您推销“AI 爬虫优化”:GEO 值得花钱做吗?
- 您更希望有人设置好并持续检查:SEO 与 GEO 智能体。