产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

该屏蔽 AI 爬虫吗?GPTBot、ClaudeBot 和 robots.txt

更新于 · 阅读约 5 分钟

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

训练爬虫与搜索爬虫:怎么区分

每家 AI 公司都用不同的爬虫来训练模型和查找可引用的网页。屏蔽前一种,对客户毫无影响。屏蔽后一种,那个 AI 助手就无法提到您。

公司仅用于训练搜索:屏蔽后您会消失用户提问时抓取网页
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity未列出PerplexityBotPerplexity-User
GoogleGoogle-Extended(也影响 Gemini 应用的回答)Googlebot
AppleApplebot-ExtendedApplebot(Siri、Spotlight、Safari)
Microsoft未列出单独的爬虫Bingbot(Bing 和 Copilot)

来源:OpenAI、Anthropic、Perplexity、Google、Apple、Bing。

OpenAI 明确说明这是两个独立的选择:

"Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI's generative AI foundation models." (OpenAI) 译文:“每项设置都互不影响——例如,网站管理员可以允许 OAI-SearchBot 以出现在搜索结果中,同时禁止 GPTBot,表示抓取的内容不应用于训练 OpenAI 的生成式 AI 基础模型。”

屏蔽搜索爬虫的代价:屏蔽了 OAI-SearchBot 的网站“will not be shown in ChatGPT search answers, though can still appear as navigational links”(不会出现在 ChatGPT 的搜索回答中,但仍可能以导航链接的形式出现)(OpenAI)。Anthropic 对 Claude-SearchBot 的说法也一样:屏蔽它“may reduce your site's visibility and accuracy in user search results”(可能降低您的网站在用户搜索结果中的可见度和准确度)(Anthropic)。

我该屏蔽 GPTBot 吗?

由您决定,而且不会让您从 ChatGPT 的回答中消失。GPTBot 只收集“that may be used in training”(可能用于训练)的网页(OpenAI)。Apple 对它的训练标识说得同样清楚:“Webpages that disallow Applebot-Extended can still be included in search results”(禁止 Applebot-Extended 的网页仍可出现在搜索结果中)(Apple)。

对大多数服务型企业来说,屏蔽与否影响都不大。列出您的服务、服务地区和营业时间的网页,本来就是希望被转述的。如果是原创文章或付费课程内容,屏蔽的理由就更充分。

Google-Extended 的陷阱

屏蔽 Google-Extended 后,您仍留在 Google 搜索中,但会从 Gemini 应用基于来源的回答中消失。Google 用这个标识控制 Gemini 的训练,以及“in Gemini Apps”(在 Gemini 应用中)用其搜索索引内容为回答提供依据(Google)。

"Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search." (Google) 译文:“Google-Extended 不影响网站是否被收录到 Google 搜索中,也不作为 Google 搜索的排名信号。”

Google 的 AI 概览和 AI 模式有自己的开关。自 2026 年 8 月 31 日起,每个网站都可以在 Search Console 的“设置”下找到“搜索生成式 AI 控制”(Search generative AI control)。选择排除后,您的网站将不会出现在 AI 概览、AI 模式和 Discover 的 AI 功能中:

"You won't receive any traffic or impressions from these features." (Search Console Help) 译文:“您将不会从这些功能获得任何流量或展示次数。”

Google 表示这个开关“isn't used as a ranking or inclusion signal affecting other parts of Search”(不会作为影响搜索其他部分的排名或收录信号)(Search Console Help)。对想要客户的商家来说,保持“包含”(Include)是合理的。

如何在 robots.txt 中屏蔽 AI 爬虫

在网站根目录的 robots.txt 文件中,每个爬虫加两行。要让训练爬虫远离整个网站:

行含义
User-agent: GPTBot下一条规则针对 OpenAI 的训练爬虫
Disallow: /不要抓取任何网页
User-agent: ClaudeBotAnthropic 的训练爬虫
Disallow: /不要抓取任何网页
User-agent: Applebot-ExtendedApple 的训练标识
Disallow: /不要用任何网页做训练

除非您想退出这些回答,否则不要为 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot、Googlebot、Bingbot 或 Applebot 添加 Disallow 规则。

robots.txt 不是安全措施:noindex 与 disallow

robots.txt 只是一个请求。Google 说:“it's up to the crawler to obey them”(是否遵守由爬虫自己决定)(Google Search Central)。两个由用户触发的抓取程序直接表示可能不遵守:ChatGPT-User(“robots.txt rules may not apply”,robots.txt 规则可能不适用)和 Perplexity-User(“generally ignores robots.txt rules”,通常忽略 robots.txt 规则)(OpenAI、Perplexity)。

"A robots.txt file tells search engine crawlers which URLs the crawler can access on your site. This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central) 译文:“robots.txt 文件告诉搜索引擎爬虫可以访问您网站上的哪些网址。它主要用于避免您的网站因请求过多而超负荷;它并不是让网页不出现在 Google 中的机制。”
您想要使用原因
阻止爬虫抓取robots.txt 的 Disallow如果其他网站链接到被禁止的网页,它仍可能被收录(Google)
让网页不出现在 Google 中noindex,且不要同时在 robots.txt 中屏蔽Google 必须抓取网页才能看到 noindex(Google)
让文件保密密码robots.txt 无法强制执行任何东西(Google)
尽快从 Google 隐藏网页Search Console 的“移除”工具(Removals)效果约持续六个月,所以还要加 noindex 或删除网页(Search Console Help)

Cloudflare 和其他防火墙

先检查防火墙,再看 robots.txt。被防火墙拦下的爬虫根本读不到您的规则。

2025 年 7 月起,Cloudflare 在每个新域名注册时询问是否允许 AI 爬虫,默认选项是屏蔽(Cloudflare)。它的文档于 2026 年 11 月 2 日更新,现在表示新域名对搜索、代理和训练爬虫默认允许(Cloudflare Docs)。如果您的网站是在这段时间之间设置的,请检查当时选了什么。

依次进入 Security、Settings,再找到 AI Crawler and Agent access policies。有两点很重要(Cloudflare Docs):

Bing 和 Copilot:用 meta 标签控制

Bing 没有列出单独的 AI 爬虫:Bingbot 同时为 Bing 和 Copilot 抓取。要限制 Copilot 又不退出 Bing,可以使用 Bing 的页面级标签:

"NOARCHIVE prevents content from being used in Copilot responses and grounding results." (Bing Webmaster Guidelines) 译文:“NOARCHIVE 可防止内容被用于 Copilot 的回答和依据结果。”

NOCACHE 是折中设置:Copilot 只能使用“the URL, title, and snippet”(网址、标题和摘要)(Bing Webmaster Guidelines)。

示例

一位主机商屏蔽了“AI 抓取程序”的水管工

防火墙的 AI 设置屏蔽了所有爬虫,所以 ChatGPT 和 Perplexity 从不引用这个网站。解决办法:Search 和 Agent 设为允许,Training 设为 Disallow。客户的 AI 助手现在能读取服务页面;训练爬虫仍被要求不要进入。

一位写原创文章的心理治疗师

她禁止了 GPTBot、ClaudeBot 和 Applebot-Extended。她没有动 Google-Extended,所以 Gemini 应用仍能使用她的网页,并让所有搜索爬虫保持允许。

一家有客户文件夹的律师事务所

这个文件夹用 robots.txt 的 Disallow“隐藏”起来,而这只是请求爬虫不要进入。解决办法是给文件夹加登录,并给已经被收录的网页加上 noindex。

您的情况不同?

继续阅读

下一篇网站在 Google 上搜不到:按顺序逐项检查在 Google 上找不到您的网站?按顺序检查:site: 搜索、网址检查、noindex 和建站平台设置、新网站的等待时间,以及地图与搜索的区别。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. OpenAI: Overview of OpenAI Crawlers
  2. Claude Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?
  3. Perplexity Docs: Perplexity crawlers
  4. Google Crawling Infrastructure: Google's common crawlers (Google-Extended)
  5. Search Console Help: Search generative AI control
  6. Apple Support: About Applebot
  7. Bing Webmaster Guidelines
  8. Google Search Central: Introduction to robots.txt
  9. Google Search Central: Block Search indexing with noindex
  10. Search Console Help: Removals tool
  11. Cloudflare press release: permission-based approach for AI crawlers (July 2025)
  12. Cloudflare Docs: AI Crawler and Agent access policies