AI 爬虫日志:看看哪些 AI 机器人访问了您的网站
简短回答 从您的主机商下载原始访问日志(或打开 Cloudflare 的 AI Crawl Control),搜索这些机器人名称:GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot、Applebot。名称可以伪造,所以要把 IP 和各公司公布的列表核对。Google Analytics 看不到它们:它会剔除已知机器人。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话服务器日志在哪里找?
在您的网站主机商那里,而不是 Google Analytics 里。服务器日志(也叫访问日志)是一个文本文件,服务器每收到一次请求就写一行,不管来自人还是机器人。分析工具只统计运行了其跟踪代码的访客,而 Google Analytics 更进一步:
"In Google Analytics properties, traffic from known bots and spiders is automatically excluded." (Analytics Help: Known bot-traffic exclusion) 译文:“在 Google Analytics 媒体资源中,来自已知机器人和爬虫的流量会被自动排除。”
Google 还说,您“cannot disable”(无法停用)这项功能,也看不到被剔除了多少。所以日志是 AI 机器人唯一会出现的地方,除非您网站前面有防火墙帮您统计。
| 您的情况 | 去哪里看 |
|---|---|
| 使用 cPanel 的共享主机 | Metrics,然后 Raw Access。它会下载访问日志的 .gz 压缩文件,适用于 Apache 或 NGINX 服务器(cPanel Docs: Raw Access) |
| 您自己的服务器(VPS) | Web 服务器的访问日志文件。路径请问当初搭建的人 |
| 网站接入了 Cloudflare | AI Crawl Control。Cloudflare 表示它会显示“which AI services are accessing your content”(哪些 AI 服务在访问您的内容),所有套餐都可用(Cloudflare Docs: AI Crawl Control) |
| Wix、Squarespace 或其他托管建站平台 | 问平台客服能否获取原始日志 |
cPanel 有两个细节很重要。主机商可以关掉 Raw Access 页面。而且只有在该页面勾选归档选项,cPanel 才会保存旧日志;另一个选项会在月底删除上个月的归档(cPanel Docs: Raw Access)。如果您想对比几个月的数据,现在就打开归档。
要搜索哪些机器人名称
用文本编辑器或电子表格打开日志,搜索下面这些名称。每家公司都公开说明了自己的机器人,不同机器人的访问含义不同。
| 搜索 | 公司 | 访问意味着什么 |
|---|---|---|
| GPTBot | OpenAI | 收集可能用于训练其模型的页面 |
| OAI-SearchBot | OpenAI | 为 ChatGPT 搜索回答建立页面索引 |
| ChatGPT-User | OpenAI | 某位 ChatGPT 用户的问题刚刚让它打开了您的页面 |
| OAI-AdsBot | OpenAI | 检查您作为 ChatGPT 广告提交的页面 |
| ClaudeBot | Anthropic | 收集训练数据 |
| Claude-SearchBot | Anthropic | 为 Claude 的搜索回答建立页面索引 |
| Claude-User | Anthropic | 某位 Claude 用户的问题让它打开了您的页面 |
| PerplexityBot | Perplexity | 为 Perplexity 的回答建立页面索引 |
| Perplexity-User | Perplexity | 某位 Perplexity 用户的问题让它打开了您的页面 |
| Googlebot | Google 搜索;AI 概览和 AI 模式只链接到该索引中的页面 | |
| Applebot | Apple | Siri、Spotlight 和 Safari 搜索 |
| bingbot | Microsoft | Bing,其索引也为 Copilot 的回答提供数据 |
来源:OpenAI: Overview of OpenAI Crawlers;Claude Help Center;Perplexity Docs;Google Search Central: AI features and your website;Apple Support: About Applebot;Bing Webmaster Guidelines。
不要找 Google-Extended 或 Applebot-Extended。它们是您在 robots.txt 里写的设置,不是访客。Google 说 Google-Extended“doesn't have a separate HTTP request user agent string”(没有单独的 HTTP 请求用户代理字符串)(Google's common crawlers),Apple 说“Applebot-Extended does not crawl webpages”(Applebot-Extended 不抓取网页)(Apple Support: About Applebot)。它们的流量会显示为 Googlebot 和 Applebot。
对商家来说,“-User”这几行最能说明问题。OpenAI 表示,ChatGPT-User 会在“when users ask ChatGPT or a CustomGPT a question”(用户向 ChatGPT 或自定义 GPT 提问时)访问页面。如果它们之一访问了您的价格页,说明有人问了 AI 助手一个问题,助手打开您的页面来回答。要不要封锁这些机器人是另一个问题:该封锁 AI 爬虫吗?
如何读懂一行日志
大多数主机商使用 Apache 所说的 Combined Log Format(组合日志格式)(Apache HTTP Server Docs: Log Files)。每一行都按相同顺序包含相同字段:
| 字段 | 示例 | 告诉您什么 |
|---|---|---|
| IP 地址 | 203.0.113.7 | 谁发出的请求;用它确认机器人是真的 |
| 日期和时间 | [16/Nov/2026:09:14:02 -0500] | 什么时候 |
| 请求 | "GET /furnace-repair/ HTTP/1.1" | 哪个页面 |
| 状态码 | 200 | 200 正常;301 已重定向;403 被拦截;404 找不到;5xx 服务器错误 |
| 大小 | 18342 | 返回的字节数 |
| 来源页 | "-" | 链接到这里的页面;机器人通常不发送 |
| 用户代理 | "...compatible; GPTBot/1.4; +https://openai.com/gptbot" | 访客给自己报的名字 |
机器人名称在最后一个字段,也就是用户代理里。OpenAI 提醒其中的版本号可能会变,所以要搜索“GPTBot”,而不是“GPTBot/1.4”。
真的是 GPTBot 吗?核对 IP 地址
任何人都能在请求里写上“GPTBot”,所以光看名称什么也证明不了。Google 的验证页面正是为此而设,以防“spammers or other troublemakers”(垃圾信息发送者或其他捣乱者)冒充 Google(Verify requests from Google crawlers and fetchers)。把这一行的 IP 地址和该公司公布的列表核对:
| 机器人 | 如何核对 |
|---|---|
| OpenAI 机器人 | IP 列表:openai.com/gptbot.json、searchbot.json 和 chatgpt-user.json(OpenAI) |
| Anthropic 机器人 | IP 列表:claude.com/crawling/bots.json。Anthropic 表示,列表中的 IP“indicates that the crawler is coming from Anthropic”(表明该爬虫来自 Anthropic) |
| Perplexity 机器人 | IP 列表:perplexity.ai/perplexitybot.json 和 perplexity-user.json(Perplexity Docs) |
| Googlebot | 反向 DNS 查询结果必须以 googlebot.com、google.com 或 googleusercontent.com 结尾,且正向查询必须返回相同的 IP(Google) |
| Applebot | 反向 DNS 位于 applebot.apple.com,或核对 Apple 页面上的 IP 列表(Apple Support) |
| Bingbot | IP 列表:bing.com/toolbox/bingbot.json |
Perplexity 的建议适用于所有列表:“Always use the most current IP ranges from the official JSON endpoints.”(始终使用官方 JSON 端点中最新的 IP 范围。)这些范围会变。如果只有几行,把 IP 粘贴到 CIDR 检查工具(一种免费工具,告诉您某个地址是否在某个范围内)里,对照列表核对即可。Google 表示手动方法“is sufficient for most use cases”(足以满足大多数用途)。
AI 机器人的访问能说明什么?
主要说明机器人能不能访问到您,而不是您的排名有多好。Google 对自己的爬虫说得很直接:
"Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google: Myths about crawling) 译文:“Google 使用很多信号对结果排名;虽然页面要出现在搜索结果中必须先被抓取,但抓取本身不是排名信号。”
所以一个被访问 40 次的页面并不比只被访问 2 次的页面更“受青睐”。没有哪家 AI 公司说过抓取次数反映它有多重视一个页面。不如用日志找下面这些问题:
| 您看到的 | 可能的含义 | 怎么做 |
|---|---|---|
| 完全没有 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 的记录 | 可能有东西拦截了它们,通常是防火墙或主机的机器人设置 | 检查防火墙的 AI 机器人设置和 robots.txt |
| 搜索机器人收到 403 | 您的服务器或防火墙拒绝了它们 | 放行搜索机器人;OpenAI 建议“allowing requests from our published IP ranges”(允许来自我们公布的 IP 范围的请求) |
| 机器人访问旧网址得到 404 | 链接指向已经搬走的页面 | 对仍有人链接的已搬迁页面做重定向 |
| 5xx 错误 | 您的服务器出错了 | 问主机商;Google 建议把服务器错误保持在低水平 |
| 主要服务页面从未被访问 | 机器人可能找不到它们 | 从首页和菜单链接到这些页面;查看页面未编入索引 |
| 某个机器人把服务器挤爆 | 同时请求太多 | ClaudeBot 会遵守 robots.txt 中的 Crawl-delay 设置(Claude Help Center) |
我需要担心抓取预算吗?
几乎肯定不需要。抓取预算是 Google 在一段时间内会在一个网站上抓取多少页面。Google 的指南面向的是拥有“1 million+ unique pages”(100 万个以上不同页面)且每周更新的网站,或 10,000 个以上页面每天更新的网站,并且说:
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google: Optimize your crawl budget) 译文:“如果您的网站没有大量快速变化的页面,或者您的页面似乎在发布当天就被抓取,您就不需要阅读本指南。”
一个 30 页的服务企业网站远低于这个规模。对于 Googlebot,Google 建议网站所有者改看 Search Console 中的抓取统计信息报告(Google: Myths about crawling);Search Console 指南介绍了值得看的报告。
我可以把日志上传到 ChatGPT 来分析吗?
可以,但先删掉 IP 地址那一列。每位真人访客的 IP 都在这个文件里,而机器人核实完之后您就用不到它了。对小网站来说,电子表格同样好用:按空格把文件分列,在用户代理列中筛选每个机器人名称,然后按页面和状态码统计行数。
示例
以下为示意案例。数字是为举例编造的。
一家没有 AI 搜索机器人访问的屋顶公司
一个月的日志里有 Googlebot 和 GPTBot,但没有 OAI-SearchBot 或 PerplexityBot。原来主机的“block AI scrapers”(拦截 AI 抓取程序)开关是打开的。放行搜索机器人后,一周内就出现了 OAI-SearchBot 的记录,状态码为 200。
一家检查“GPTBot”流量的牙科诊所
每天数千行 GPTBot 记录拖慢了网站。其中一半的 IP 不在 OpenAI 的列表上,所以是冒充 GPTBot 的假机器人。诊所在防火墙上封锁了这些 IP,真的则不动。
一位看到 ChatGPT-User 的会计师
日志显示 ChatGPT-User 每月大约打开“小企业报税”页面 15 次。她确保该页面写明价格、服务地区和预约方式,因为 AI 助手正在读它来回答真实的问题。
常见问题
Google Analytics 会显示 AI 机器人吗?
不会。Google Analytics 会自动排除已知机器人,而且您无法关闭这项功能。请改用服务器日志或防火墙控制面板。
我应该多久查看一次日志?
每次更改主机、防火墙或 robots.txt 之后查看,其他时候每隔几个月看一次。打开日志归档,这样就有历史数据可以对比。
为什么我的日志里从来没有 Google-Extended?
因为它不是爬虫。它是 robots.txt 中的一项设置,决定 Google 可以如何使用 Googlebot 已经抓取的页面,所以这些访问会显示为 Googlebot。
机器人会无视我的 robots.txt 吗?
由用户触发的抓取程序可能会。OpenAI 说 robots.txt 规则对 ChatGPT-User“may not apply”(可能不适用);Perplexity 说 Perplexity-User“generally ignores robots.txt rules”(通常会忽略 robots.txt 规则)。假机器人什么都不管。
您的情况不同?
- 您想封锁其中一些机器人:该封锁 AI 爬虫吗?
- 机器人来访了,但 ChatGPT 还是不提您:ChatGPT 从哪里找本地商家。
- Google 抓取了您的页面却不编入索引:已抓取或已发现,尚未编入索引。
- 您更希望有人帮您读日志并修好问题:SEO 与 GEO 智能体。