AI 爬蟲紀錄:看看哪些 AI 機器人造訪了您的網站
簡短回答 從您的主機商下載原始存取紀錄檔(或打開 Cloudflare 的 AI Crawl Control),搜尋這些機器人名稱:GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot、Applebot。名稱可以偽造,所以要把 IP 和各公司公布的清單核對。Google Analytics 看不到它們:它會排除已知機器人。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話伺服器紀錄檔在哪裡找?
在您的網站主機商那裡,而不是 Google Analytics 裡。伺服器紀錄檔(也叫存取紀錄檔)是一個文字檔,伺服器每收到一次請求就寫一行,不論來自人還是機器人。分析工具只統計執行了其追蹤程式碼的訪客,而 Google Analytics 更進一步:
"In Google Analytics properties, traffic from known bots and spiders is automatically excluded." (Analytics Help: Known bot-traffic exclusion) 譯文:「在 Google Analytics 資源中,來自已知機器人和網路蜘蛛的流量會自動排除。」
Google 還說,您「cannot disable」(無法停用)這項功能,也看不到被排除了多少。所以紀錄檔是 AI 機器人唯一會出現的地方,除非您網站前面有防火牆幫您統計。
| 您的情況 | 去哪裡看 |
|---|---|
| 使用 cPanel 的共享主機 | Metrics,然後 Raw Access。它會下載存取紀錄檔的 .gz 壓縮檔,適用於 Apache 或 NGINX 伺服器(cPanel Docs: Raw Access) |
| 您自己的伺服器(VPS) | 網頁伺服器的存取紀錄檔。路徑請問當初架設的人 |
| 網站透過 Cloudflare | AI Crawl Control。Cloudflare 表示它會顯示「which AI services are accessing your content」(哪些 AI 服務正在存取您的內容),所有方案都可使用(Cloudflare Docs: AI Crawl Control) |
| Wix、Squarespace 或其他託管架站平台 | 問平台客服能否取得原始紀錄檔 |
cPanel 有兩個細節很重要。主機商可以關閉 Raw Access 畫面。而且只有在該畫面勾選封存選項,cPanel 才會保存舊紀錄檔;另一個選項會在月底刪除上個月的封存(cPanel Docs: Raw Access)。如果您想比較幾個月的資料,現在就開啟封存。
要搜尋哪些機器人名稱
用文字編輯器或試算表打開紀錄檔,搜尋下面這些名稱。每家公司都公開說明了自己的機器人,不同機器人的造訪意義不同。
| 搜尋 | 公司 | 造訪代表什麼 |
|---|---|---|
| GPTBot | OpenAI | 收集可能用於訓練其模型的網頁 |
| OAI-SearchBot | OpenAI | 為 ChatGPT 搜尋回答建立網頁索引 |
| ChatGPT-User | OpenAI | 某位 ChatGPT 使用者的問題剛剛讓它打開了您的網頁 |
| OAI-AdsBot | OpenAI | 檢查您提交為 ChatGPT 廣告的網頁 |
| ClaudeBot | Anthropic | 收集訓練資料 |
| Claude-SearchBot | Anthropic | 為 Claude 的搜尋回答建立網頁索引 |
| Claude-User | Anthropic | 某位 Claude 使用者的問題讓它打開了您的網頁 |
| PerplexityBot | Perplexity | 為 Perplexity 的回答建立網頁索引 |
| Perplexity-User | Perplexity | 某位 Perplexity 使用者的問題讓它打開了您的網頁 |
| Googlebot | Google 搜尋;AI 摘要和 AI 模式只連結到該索引中的網頁 | |
| Applebot | Apple | Siri、Spotlight 和 Safari 搜尋 |
| bingbot | Microsoft | Bing,其索引也為 Copilot 的回答提供資料 |
來源:OpenAI: Overview of OpenAI Crawlers;Claude Help Center;Perplexity Docs;Google Search Central: AI features and your website;Apple Support: About Applebot;Bing Webmaster Guidelines。
不要找 Google-Extended 或 Applebot-Extended。它們是您在 robots.txt 裡寫的設定,不是訪客。Google 說 Google-Extended「doesn't have a separate HTTP request user agent string」(沒有獨立的 HTTP 請求使用者代理程式字串)(Google's common crawlers),Apple 說「Applebot-Extended does not crawl webpages」(Applebot-Extended 不會檢索網頁)(Apple Support: About Applebot)。它們的流量會顯示為 Googlebot 和 Applebot。
對商家來說,「-User」這幾行最能說明問題。OpenAI 表示,ChatGPT-User 會在「when users ask ChatGPT or a CustomGPT a question」(使用者向 ChatGPT 或自訂 GPT 提問時)造訪網頁。如果其中之一造訪了您的價格頁,代表有人問了 AI 助理一個問題,助理打開您的網頁來回答。要不要封鎖這些機器人是另一個問題:該封鎖 AI 爬蟲嗎?
如何讀懂一行紀錄
大多數主機商使用 Apache 所稱的 Combined Log Format(組合紀錄格式)(Apache HTTP Server Docs: Log Files)。每一行都依相同順序包含相同欄位:
| 欄位 | 範例 | 告訴您什麼 |
|---|---|---|
| IP 位址 | 203.0.113.7 | 誰發出的請求;用它確認機器人是真的 |
| 日期和時間 | [16/Nov/2026:09:14:02 -0500] | 什麼時候 |
| 請求 | "GET /furnace-repair/ HTTP/1.1" | 哪個網頁 |
| 狀態碼 | 200 | 200 正常;301 已重新導向;403 被封鎖;404 找不到;5xx 伺服器錯誤 |
| 大小 | 18342 | 回傳的位元組數 |
| 參照網址 | "-" | 連結到這裡的網頁;機器人通常不會傳送 |
| 使用者代理程式 | "...compatible; GPTBot/1.4; +https://openai.com/gptbot" | 訪客自報的名稱 |
機器人名稱在最後一個欄位,也就是使用者代理程式裡。OpenAI 提醒其中的版本號可能會變,所以要搜尋「GPTBot」,而不是「GPTBot/1.4」。
真的是 GPTBot 嗎?核對 IP 位址
任何人都能在請求裡寫上「GPTBot」,所以光看名稱什麼也證明不了。Google 的驗證頁面正是為此而設,以防「spammers or other troublemakers」(垃圾訊息發送者或其他搗亂者)冒充 Google(Verify requests from Google crawlers and fetchers)。把這一行的 IP 位址和該公司公布的清單核對:
| 機器人 | 如何核對 |
|---|---|
| OpenAI 機器人 | IP 清單:openai.com/gptbot.json、searchbot.json 和 chatgpt-user.json(OpenAI) |
| Anthropic 機器人 | IP 清單:claude.com/crawling/bots.json。Anthropic 表示,清單中的 IP「indicates that the crawler is coming from Anthropic」(表示該爬蟲來自 Anthropic) |
| Perplexity 機器人 | IP 清單:perplexity.ai/perplexitybot.json 和 perplexity-user.json(Perplexity Docs) |
| Googlebot | 反向 DNS 查詢結果必須以 googlebot.com、google.com 或 googleusercontent.com 結尾,且正向查詢必須傳回相同的 IP(Google) |
| Applebot | 反向 DNS 位於 applebot.apple.com,或核對 Apple 頁面上的 IP 清單(Apple Support) |
| Bingbot | IP 清單:bing.com/toolbox/bingbot.json |
Perplexity 的建議適用於所有清單:「Always use the most current IP ranges from the official JSON endpoints.」(一律使用官方 JSON 端點中最新的 IP 範圍。)這些範圍會變。如果只有幾行,把 IP 貼到 CIDR 檢查工具(一種免費工具,告訴您某個位址是否落在某個範圍內)裡,對照清單核對即可。Google 表示手動方法「is sufficient for most use cases」(足以應付大多數用途)。
AI 機器人的造訪能說明什麼?
主要說明機器人能不能連到您,而不是您的排名有多好。Google 對自己的爬蟲說得很直接:
"Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google: Myths about crawling) 譯文:「Google 使用許多信號為結果排名;雖然網頁要出現在搜尋結果中必須先被檢索,但檢索本身不是排名信號。」
所以一個被造訪 40 次的網頁並不比只被造訪 2 次的網頁更「受青睞」。沒有哪家 AI 公司說過檢索次數反映它有多重視一個網頁。不如用紀錄檔找下面這些問題:
| 您看到的 | 可能的意思 | 怎麼做 |
|---|---|---|
| 完全沒有 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 的紀錄 | 可能有東西擋住了它們,通常是防火牆或主機的機器人設定 | 檢查防火牆的 AI 機器人設定和 robots.txt |
| 搜尋機器人收到 403 | 您的伺服器或防火牆拒絕了它們 | 放行搜尋機器人;OpenAI 建議「allowing requests from our published IP ranges」(允許來自我們公布之 IP 範圍的請求) |
| 機器人造訪舊網址得到 404 | 連結指向已經搬走的網頁 | 為仍有人連結的已搬移網頁設定重新導向 |
| 5xx 錯誤 | 您的伺服器出錯了 | 問主機商;Google 建議把伺服器錯誤維持在低水準 |
| 主要服務網頁從未被造訪 | 機器人可能找不到它們 | 從首頁和選單連結到這些網頁;查看網頁未編入索引 |
| 某個機器人塞爆伺服器 | 同時請求太多 | ClaudeBot 會遵守 robots.txt 中的 Crawl-delay 設定(Claude Help Center) |
我需要擔心檢索預算嗎?
幾乎可以肯定不需要。檢索預算是 Google 在一段時間內會在一個網站上檢索多少網頁。Google 的指南針對的是擁有「1 million+ unique pages」(100 萬個以上不重複網頁)且每週更新的網站,或 10,000 個以上網頁每天更新的網站,並且說:
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google: Optimize your crawl budget) 譯文:「如果您的網站沒有大量快速變動的網頁,或者您的網頁似乎在發布當天就被檢索,您就不需要閱讀本指南。」
一個 30 頁的服務業網站遠低於這個規模。對於 Googlebot,Google 建議網站擁有者改看 Search Console 中的檢索統計資料報表(Google: Myths about crawling);Search Console 指南介紹了值得看的報表。
我可以把紀錄檔上傳到 ChatGPT 來分析嗎?
可以,但先刪掉 IP 位址那一欄。每位真人訪客的 IP 都在這個檔案裡,而機器人核實完之後您就用不到它了。對小網站來說,試算表一樣好用:以空格把檔案分欄,在使用者代理程式欄中篩選每個機器人名稱,再依網頁和狀態碼統計列數。
範例
以下為示意案例。數字是為舉例編造的。
一家沒有 AI 搜尋機器人造訪的屋頂公司
一個月的紀錄檔裡有 Googlebot 和 GPTBot,但沒有 OAI-SearchBot 或 PerplexityBot。原來主機的「block AI scrapers」(封鎖 AI 擷取程式)開關是打開的。放行搜尋機器人後,一週內就出現了 OAI-SearchBot 的紀錄,狀態碼為 200。
一家檢查「GPTBot」流量的牙科診所
每天數千行 GPTBot 紀錄拖慢了網站。其中一半的 IP 不在 OpenAI 的清單上,所以是冒充 GPTBot 的假機器人。診所在防火牆上封鎖了這些 IP,真的則不動。
一位看到 ChatGPT-User 的會計師
紀錄檔顯示 ChatGPT-User 每月大約打開「小型企業報稅」網頁 15 次。她確保該網頁寫明價格、服務地區和預約方式,因為 AI 助理正在讀它來回答真實的問題。
常見問題
Google Analytics 會顯示 AI 機器人嗎?
不會。Google Analytics 會自動排除已知機器人,而且您無法關閉這項功能。請改用伺服器紀錄檔或防火牆儀表板。
我應該多久查看一次紀錄檔?
每次更改主機、防火牆或 robots.txt 之後查看,其他時候每隔幾個月看一次。開啟紀錄檔封存,這樣就有歷史資料可以比較。
為什麼我的紀錄檔裡從來沒有 Google-Extended?
因為它不是爬蟲。它是 robots.txt 中的一項設定,決定 Google 可以如何使用 Googlebot 已經檢索的網頁,所以這些造訪會顯示為 Googlebot。
機器人會無視我的 robots.txt 嗎?
由使用者觸發的擷取程式可能會。OpenAI 說 robots.txt 規則對 ChatGPT-User「may not apply」(可能不適用);Perplexity 說 Perplexity-User「generally ignores robots.txt rules」(通常會忽略 robots.txt 規則)。假機器人什麼都不管。
您的情況不同?
- 您想封鎖其中一些機器人:該封鎖 AI 爬蟲嗎?
- 機器人來過了,但 ChatGPT 還是不提您:ChatGPT 從哪裡找在地商家。
- Google 檢索了您的網頁卻不編入索引:已檢索或已發現,目前尚未建立索引。
- 您更希望有人幫您讀紀錄檔並修好問題:SEO 與 GEO 代理。