产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

AI 爬虫日志:看看哪些 AI 机器人访问了您的网站

更新于 · 阅读约 8 分钟

简短回答 从您的主机商下载原始访问日志(或打开 Cloudflare 的 AI Crawl Control),搜索这些机器人名称:GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot、Applebot。名称可以伪造,所以要把 IP 和各公司公布的列表核对。Google Analytics 看不到它们:它会剔除已知机器人。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

服务器日志在哪里找?

在您的网站主机商那里,而不是 Google Analytics 里。服务器日志(也叫访问日志)是一个文本文件,服务器每收到一次请求就写一行,不管来自人还是机器人。分析工具只统计运行了其跟踪代码的访客,而 Google Analytics 更进一步:

"In Google Analytics properties, traffic from known bots and spiders is automatically excluded." (Analytics Help: Known bot-traffic exclusion) 译文:“在 Google Analytics 媒体资源中,来自已知机器人和爬虫的流量会被自动排除。”

Google 还说,您“cannot disable”(无法停用)这项功能,也看不到被剔除了多少。所以日志是 AI 机器人唯一会出现的地方,除非您网站前面有防火墙帮您统计。

您的情况去哪里看
使用 cPanel 的共享主机Metrics,然后 Raw Access。它会下载访问日志的 .gz 压缩文件,适用于 Apache 或 NGINX 服务器(cPanel Docs: Raw Access)
您自己的服务器(VPS)Web 服务器的访问日志文件。路径请问当初搭建的人
网站接入了 CloudflareAI Crawl Control。Cloudflare 表示它会显示“which AI services are accessing your content”(哪些 AI 服务在访问您的内容),所有套餐都可用(Cloudflare Docs: AI Crawl Control)
Wix、Squarespace 或其他托管建站平台问平台客服能否获取原始日志

cPanel 有两个细节很重要。主机商可以关掉 Raw Access 页面。而且只有在该页面勾选归档选项,cPanel 才会保存旧日志;另一个选项会在月底删除上个月的归档(cPanel Docs: Raw Access)。如果您想对比几个月的数据,现在就打开归档。

要搜索哪些机器人名称

用文本编辑器或电子表格打开日志,搜索下面这些名称。每家公司都公开说明了自己的机器人,不同机器人的访问含义不同。

搜索公司访问意味着什么
GPTBotOpenAI收集可能用于训练其模型的页面
OAI-SearchBotOpenAI为 ChatGPT 搜索回答建立页面索引
ChatGPT-UserOpenAI某位 ChatGPT 用户的问题刚刚让它打开了您的页面
OAI-AdsBotOpenAI检查您作为 ChatGPT 广告提交的页面
ClaudeBotAnthropic收集训练数据
Claude-SearchBotAnthropic为 Claude 的搜索回答建立页面索引
Claude-UserAnthropic某位 Claude 用户的问题让它打开了您的页面
PerplexityBotPerplexity为 Perplexity 的回答建立页面索引
Perplexity-UserPerplexity某位 Perplexity 用户的问题让它打开了您的页面
GooglebotGoogleGoogle 搜索;AI 概览和 AI 模式只链接到该索引中的页面
ApplebotAppleSiri、Spotlight 和 Safari 搜索
bingbotMicrosoftBing,其索引也为 Copilot 的回答提供数据

来源:OpenAI: Overview of OpenAI Crawlers;Claude Help Center;Perplexity Docs;Google Search Central: AI features and your website;Apple Support: About Applebot;Bing Webmaster Guidelines。

不要找 Google-Extended 或 Applebot-Extended。它们是您在 robots.txt 里写的设置,不是访客。Google 说 Google-Extended“doesn't have a separate HTTP request user agent string”(没有单独的 HTTP 请求用户代理字符串)(Google's common crawlers),Apple 说“Applebot-Extended does not crawl webpages”(Applebot-Extended 不抓取网页)(Apple Support: About Applebot)。它们的流量会显示为 Googlebot 和 Applebot。

对商家来说,“-User”这几行最能说明问题。OpenAI 表示,ChatGPT-User 会在“when users ask ChatGPT or a CustomGPT a question”(用户向 ChatGPT 或自定义 GPT 提问时)访问页面。如果它们之一访问了您的价格页,说明有人问了 AI 助手一个问题,助手打开您的页面来回答。要不要封锁这些机器人是另一个问题:该封锁 AI 爬虫吗?

如何读懂一行日志

大多数主机商使用 Apache 所说的 Combined Log Format(组合日志格式)(Apache HTTP Server Docs: Log Files)。每一行都按相同顺序包含相同字段:

字段示例告诉您什么
IP 地址203.0.113.7谁发出的请求;用它确认机器人是真的
日期和时间[16/Nov/2026:09:14:02 -0500]什么时候
请求"GET /furnace-repair/ HTTP/1.1"哪个页面
状态码200200 正常;301 已重定向;403 被拦截;404 找不到;5xx 服务器错误
大小18342返回的字节数
来源页"-"链接到这里的页面;机器人通常不发送
用户代理"...compatible; GPTBot/1.4; +https://openai.com/gptbot"访客给自己报的名字

机器人名称在最后一个字段,也就是用户代理里。OpenAI 提醒其中的版本号可能会变,所以要搜索“GPTBot”,而不是“GPTBot/1.4”。

真的是 GPTBot 吗?核对 IP 地址

任何人都能在请求里写上“GPTBot”,所以光看名称什么也证明不了。Google 的验证页面正是为此而设,以防“spammers or other troublemakers”(垃圾信息发送者或其他捣乱者)冒充 Google(Verify requests from Google crawlers and fetchers)。把这一行的 IP 地址和该公司公布的列表核对:

机器人如何核对
OpenAI 机器人IP 列表:openai.com/gptbot.json、searchbot.json 和 chatgpt-user.json(OpenAI)
Anthropic 机器人IP 列表:claude.com/crawling/bots.json。Anthropic 表示,列表中的 IP“indicates that the crawler is coming from Anthropic”(表明该爬虫来自 Anthropic)
Perplexity 机器人IP 列表:perplexity.ai/perplexitybot.json 和 perplexity-user.json(Perplexity Docs)
Googlebot反向 DNS 查询结果必须以 googlebot.com、google.com 或 googleusercontent.com 结尾,且正向查询必须返回相同的 IP(Google)
Applebot反向 DNS 位于 applebot.apple.com,或核对 Apple 页面上的 IP 列表(Apple Support)
BingbotIP 列表:bing.com/toolbox/bingbot.json

Perplexity 的建议适用于所有列表:“Always use the most current IP ranges from the official JSON endpoints.”(始终使用官方 JSON 端点中最新的 IP 范围。)这些范围会变。如果只有几行,把 IP 粘贴到 CIDR 检查工具(一种免费工具,告诉您某个地址是否在某个范围内)里,对照列表核对即可。Google 表示手动方法“is sufficient for most use cases”(足以满足大多数用途)。

AI 机器人的访问能说明什么?

主要说明机器人能不能访问到您,而不是您的排名有多好。Google 对自己的爬虫说得很直接:

"Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google: Myths about crawling) 译文:“Google 使用很多信号对结果排名;虽然页面要出现在搜索结果中必须先被抓取,但抓取本身不是排名信号。”

所以一个被访问 40 次的页面并不比只被访问 2 次的页面更“受青睐”。没有哪家 AI 公司说过抓取次数反映它有多重视一个页面。不如用日志找下面这些问题:

您看到的可能的含义怎么做
完全没有 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 的记录可能有东西拦截了它们,通常是防火墙或主机的机器人设置检查防火墙的 AI 机器人设置和 robots.txt
搜索机器人收到 403您的服务器或防火墙拒绝了它们放行搜索机器人;OpenAI 建议“allowing requests from our published IP ranges”(允许来自我们公布的 IP 范围的请求)
机器人访问旧网址得到 404链接指向已经搬走的页面对仍有人链接的已搬迁页面做重定向
5xx 错误您的服务器出错了问主机商;Google 建议把服务器错误保持在低水平
主要服务页面从未被访问机器人可能找不到它们从首页和菜单链接到这些页面;查看页面未编入索引
某个机器人把服务器挤爆同时请求太多ClaudeBot 会遵守 robots.txt 中的 Crawl-delay 设置(Claude Help Center)

我需要担心抓取预算吗?

几乎肯定不需要。抓取预算是 Google 在一段时间内会在一个网站上抓取多少页面。Google 的指南面向的是拥有“1 million+ unique pages”(100 万个以上不同页面)且每周更新的网站,或 10,000 个以上页面每天更新的网站,并且说:

"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google: Optimize your crawl budget) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就被抓取,您就不需要阅读本指南。”

一个 30 页的服务企业网站远低于这个规模。对于 Googlebot,Google 建议网站所有者改看 Search Console 中的抓取统计信息报告(Google: Myths about crawling);Search Console 指南介绍了值得看的报告。

我可以把日志上传到 ChatGPT 来分析吗?

可以,但先删掉 IP 地址那一列。每位真人访客的 IP 都在这个文件里,而机器人核实完之后您就用不到它了。对小网站来说,电子表格同样好用:按空格把文件分列,在用户代理列中筛选每个机器人名称,然后按页面和状态码统计行数。

示例

以下为示意案例。数字是为举例编造的。

一家没有 AI 搜索机器人访问的屋顶公司

一个月的日志里有 Googlebot 和 GPTBot,但没有 OAI-SearchBot 或 PerplexityBot。原来主机的“block AI scrapers”(拦截 AI 抓取程序)开关是打开的。放行搜索机器人后,一周内就出现了 OAI-SearchBot 的记录,状态码为 200。

一家检查“GPTBot”流量的牙科诊所

每天数千行 GPTBot 记录拖慢了网站。其中一半的 IP 不在 OpenAI 的列表上,所以是冒充 GPTBot 的假机器人。诊所在防火墙上封锁了这些 IP,真的则不动。

一位看到 ChatGPT-User 的会计师

日志显示 ChatGPT-User 每月大约打开“小企业报税”页面 15 次。她确保该页面写明价格、服务地区和预约方式,因为 AI 助手正在读它来回答真实的问题。

常见问题

Google Analytics 会显示 AI 机器人吗?

不会。Google Analytics 会自动排除已知机器人,而且您无法关闭这项功能。请改用服务器日志或防火墙控制面板。

我应该多久查看一次日志?

每次更改主机、防火墙或 robots.txt 之后查看,其他时候每隔几个月看一次。打开日志归档,这样就有历史数据可以对比。

为什么我的日志里从来没有 Google-Extended?

因为它不是爬虫。它是 robots.txt 中的一项设置,决定 Google 可以如何使用 Googlebot 已经抓取的页面,所以这些访问会显示为 Googlebot。

机器人会无视我的 robots.txt 吗?

由用户触发的抓取程序可能会。OpenAI 说 robots.txt 规则对 ChatGPT-User“may not apply”(可能不适用);Perplexity 说 Perplexity-User“generally ignores robots.txt rules”(通常会忽略 robots.txt 规则)。假机器人什么都不管。

您的情况不同?

继续阅读

下一篇抓取效率:别让 Google 把抓取浪费在垃圾网址上抓取效率决定 Google 多快把您的页面编入索引,而不是页面浏览量。哪些筛选、排序和重复网址在浪费抓取,以及如何阻止。

自己动手

可抓取性检查清单:让 Google 能访问到每个页面小企业网站的可抓取性检查清单:用免费工具找出孤立页面、robots.txt 屏蔽、失效链接、重定向链和服务器错误。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. OpenAI: Overview of OpenAI Crawlers
  2. Claude Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?
  3. Anthropic: crawler IP list (bots.json)
  4. Perplexity Docs: Perplexity crawlers
  5. Google Crawling Infrastructure: Verify requests from Google crawlers and fetchers
  6. Google Crawling Infrastructure: Google's common crawlers
  7. Google Crawling Infrastructure: Optimize your crawl budget
  8. Google Crawling Infrastructure: Myths about crawling
  9. Apple Support: About Applebot
  10. Bing: Bingbot IP list (bingbot.json)
  11. Bing Webmaster Guidelines
  12. Google Search Central: AI features and your website
  13. Analytics Help: Known bot-traffic exclusion
  14. cPanel Docs: Raw Access
  15. Apache HTTP Server Docs: Log Files
  16. Cloudflare Docs: AI Crawl Control