產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

AI 爬蟲紀錄:看看哪些 AI 機器人造訪了您的網站

更新於 · 閱讀約 8 分鐘

簡短回答 從您的主機商下載原始存取紀錄檔(或打開 Cloudflare 的 AI Crawl Control),搜尋這些機器人名稱:GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot、Applebot。名稱可以偽造,所以要把 IP 和各公司公布的清單核對。Google Analytics 看不到它們:它會排除已知機器人。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

伺服器紀錄檔在哪裡找?

在您的網站主機商那裡,而不是 Google Analytics 裡。伺服器紀錄檔(也叫存取紀錄檔)是一個文字檔,伺服器每收到一次請求就寫一行,不論來自人還是機器人。分析工具只統計執行了其追蹤程式碼的訪客,而 Google Analytics 更進一步:

"In Google Analytics properties, traffic from known bots and spiders is automatically excluded." (Analytics Help: Known bot-traffic exclusion) 譯文:「在 Google Analytics 資源中,來自已知機器人和網路蜘蛛的流量會自動排除。」

Google 還說,您「cannot disable」(無法停用)這項功能,也看不到被排除了多少。所以紀錄檔是 AI 機器人唯一會出現的地方,除非您網站前面有防火牆幫您統計。

您的情況去哪裡看
使用 cPanel 的共享主機Metrics,然後 Raw Access。它會下載存取紀錄檔的 .gz 壓縮檔,適用於 Apache 或 NGINX 伺服器(cPanel Docs: Raw Access)
您自己的伺服器(VPS)網頁伺服器的存取紀錄檔。路徑請問當初架設的人
網站透過 CloudflareAI Crawl Control。Cloudflare 表示它會顯示「which AI services are accessing your content」(哪些 AI 服務正在存取您的內容),所有方案都可使用(Cloudflare Docs: AI Crawl Control)
Wix、Squarespace 或其他託管架站平台問平台客服能否取得原始紀錄檔

cPanel 有兩個細節很重要。主機商可以關閉 Raw Access 畫面。而且只有在該畫面勾選封存選項,cPanel 才會保存舊紀錄檔;另一個選項會在月底刪除上個月的封存(cPanel Docs: Raw Access)。如果您想比較幾個月的資料,現在就開啟封存。

要搜尋哪些機器人名稱

用文字編輯器或試算表打開紀錄檔,搜尋下面這些名稱。每家公司都公開說明了自己的機器人,不同機器人的造訪意義不同。

搜尋公司造訪代表什麼
GPTBotOpenAI收集可能用於訓練其模型的網頁
OAI-SearchBotOpenAI為 ChatGPT 搜尋回答建立網頁索引
ChatGPT-UserOpenAI某位 ChatGPT 使用者的問題剛剛讓它打開了您的網頁
OAI-AdsBotOpenAI檢查您提交為 ChatGPT 廣告的網頁
ClaudeBotAnthropic收集訓練資料
Claude-SearchBotAnthropic為 Claude 的搜尋回答建立網頁索引
Claude-UserAnthropic某位 Claude 使用者的問題讓它打開了您的網頁
PerplexityBotPerplexity為 Perplexity 的回答建立網頁索引
Perplexity-UserPerplexity某位 Perplexity 使用者的問題讓它打開了您的網頁
GooglebotGoogleGoogle 搜尋;AI 摘要和 AI 模式只連結到該索引中的網頁
ApplebotAppleSiri、Spotlight 和 Safari 搜尋
bingbotMicrosoftBing,其索引也為 Copilot 的回答提供資料

來源:OpenAI: Overview of OpenAI Crawlers;Claude Help Center;Perplexity Docs;Google Search Central: AI features and your website;Apple Support: About Applebot;Bing Webmaster Guidelines。

不要找 Google-Extended 或 Applebot-Extended。它們是您在 robots.txt 裡寫的設定,不是訪客。Google 說 Google-Extended「doesn't have a separate HTTP request user agent string」(沒有獨立的 HTTP 請求使用者代理程式字串)(Google's common crawlers),Apple 說「Applebot-Extended does not crawl webpages」(Applebot-Extended 不會檢索網頁)(Apple Support: About Applebot)。它們的流量會顯示為 Googlebot 和 Applebot。

對商家來說,「-User」這幾行最能說明問題。OpenAI 表示,ChatGPT-User 會在「when users ask ChatGPT or a CustomGPT a question」(使用者向 ChatGPT 或自訂 GPT 提問時)造訪網頁。如果其中之一造訪了您的價格頁,代表有人問了 AI 助理一個問題,助理打開您的網頁來回答。要不要封鎖這些機器人是另一個問題:該封鎖 AI 爬蟲嗎?

如何讀懂一行紀錄

大多數主機商使用 Apache 所稱的 Combined Log Format(組合紀錄格式)(Apache HTTP Server Docs: Log Files)。每一行都依相同順序包含相同欄位:

欄位範例告訴您什麼
IP 位址203.0.113.7誰發出的請求;用它確認機器人是真的
日期和時間[16/Nov/2026:09:14:02 -0500]什麼時候
請求"GET /furnace-repair/ HTTP/1.1"哪個網頁
狀態碼200200 正常;301 已重新導向;403 被封鎖;404 找不到;5xx 伺服器錯誤
大小18342回傳的位元組數
參照網址"-"連結到這裡的網頁;機器人通常不會傳送
使用者代理程式"...compatible; GPTBot/1.4; +https://openai.com/gptbot"訪客自報的名稱

機器人名稱在最後一個欄位,也就是使用者代理程式裡。OpenAI 提醒其中的版本號可能會變,所以要搜尋「GPTBot」,而不是「GPTBot/1.4」。

真的是 GPTBot 嗎?核對 IP 位址

任何人都能在請求裡寫上「GPTBot」,所以光看名稱什麼也證明不了。Google 的驗證頁面正是為此而設,以防「spammers or other troublemakers」(垃圾訊息發送者或其他搗亂者)冒充 Google(Verify requests from Google crawlers and fetchers)。把這一行的 IP 位址和該公司公布的清單核對:

機器人如何核對
OpenAI 機器人IP 清單:openai.com/gptbot.json、searchbot.json 和 chatgpt-user.json(OpenAI)
Anthropic 機器人IP 清單:claude.com/crawling/bots.json。Anthropic 表示,清單中的 IP「indicates that the crawler is coming from Anthropic」(表示該爬蟲來自 Anthropic)
Perplexity 機器人IP 清單:perplexity.ai/perplexitybot.json 和 perplexity-user.json(Perplexity Docs)
Googlebot反向 DNS 查詢結果必須以 googlebot.com、google.com 或 googleusercontent.com 結尾,且正向查詢必須傳回相同的 IP(Google)
Applebot反向 DNS 位於 applebot.apple.com,或核對 Apple 頁面上的 IP 清單(Apple Support)
BingbotIP 清單:bing.com/toolbox/bingbot.json

Perplexity 的建議適用於所有清單:「Always use the most current IP ranges from the official JSON endpoints.」(一律使用官方 JSON 端點中最新的 IP 範圍。)這些範圍會變。如果只有幾行,把 IP 貼到 CIDR 檢查工具(一種免費工具,告訴您某個位址是否落在某個範圍內)裡,對照清單核對即可。Google 表示手動方法「is sufficient for most use cases」(足以應付大多數用途)。

AI 機器人的造訪能說明什麼?

主要說明機器人能不能連到您,而不是您的排名有多好。Google 對自己的爬蟲說得很直接:

"Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google: Myths about crawling) 譯文:「Google 使用許多信號為結果排名;雖然網頁要出現在搜尋結果中必須先被檢索,但檢索本身不是排名信號。」

所以一個被造訪 40 次的網頁並不比只被造訪 2 次的網頁更「受青睞」。沒有哪家 AI 公司說過檢索次數反映它有多重視一個網頁。不如用紀錄檔找下面這些問題:

您看到的可能的意思怎麼做
完全沒有 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 的紀錄可能有東西擋住了它們,通常是防火牆或主機的機器人設定檢查防火牆的 AI 機器人設定和 robots.txt
搜尋機器人收到 403您的伺服器或防火牆拒絕了它們放行搜尋機器人;OpenAI 建議「allowing requests from our published IP ranges」(允許來自我們公布之 IP 範圍的請求)
機器人造訪舊網址得到 404連結指向已經搬走的網頁為仍有人連結的已搬移網頁設定重新導向
5xx 錯誤您的伺服器出錯了問主機商;Google 建議把伺服器錯誤維持在低水準
主要服務網頁從未被造訪機器人可能找不到它們從首頁和選單連結到這些網頁;查看網頁未編入索引
某個機器人塞爆伺服器同時請求太多ClaudeBot 會遵守 robots.txt 中的 Crawl-delay 設定(Claude Help Center)

我需要擔心檢索預算嗎?

幾乎可以肯定不需要。檢索預算是 Google 在一段時間內會在一個網站上檢索多少網頁。Google 的指南針對的是擁有「1 million+ unique pages」(100 萬個以上不重複網頁)且每週更新的網站,或 10,000 個以上網頁每天更新的網站,並且說:

"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google: Optimize your crawl budget) 譯文:「如果您的網站沒有大量快速變動的網頁,或者您的網頁似乎在發布當天就被檢索,您就不需要閱讀本指南。」

一個 30 頁的服務業網站遠低於這個規模。對於 Googlebot,Google 建議網站擁有者改看 Search Console 中的檢索統計資料報表(Google: Myths about crawling);Search Console 指南介紹了值得看的報表。

我可以把紀錄檔上傳到 ChatGPT 來分析嗎?

可以,但先刪掉 IP 位址那一欄。每位真人訪客的 IP 都在這個檔案裡,而機器人核實完之後您就用不到它了。對小網站來說,試算表一樣好用:以空格把檔案分欄,在使用者代理程式欄中篩選每個機器人名稱,再依網頁和狀態碼統計列數。

範例

以下為示意案例。數字是為舉例編造的。

一家沒有 AI 搜尋機器人造訪的屋頂公司

一個月的紀錄檔裡有 Googlebot 和 GPTBot,但沒有 OAI-SearchBot 或 PerplexityBot。原來主機的「block AI scrapers」(封鎖 AI 擷取程式)開關是打開的。放行搜尋機器人後,一週內就出現了 OAI-SearchBot 的紀錄,狀態碼為 200。

一家檢查「GPTBot」流量的牙科診所

每天數千行 GPTBot 紀錄拖慢了網站。其中一半的 IP 不在 OpenAI 的清單上,所以是冒充 GPTBot 的假機器人。診所在防火牆上封鎖了這些 IP,真的則不動。

一位看到 ChatGPT-User 的會計師

紀錄檔顯示 ChatGPT-User 每月大約打開「小型企業報稅」網頁 15 次。她確保該網頁寫明價格、服務地區和預約方式,因為 AI 助理正在讀它來回答真實的問題。

常見問題

Google Analytics 會顯示 AI 機器人嗎?

不會。Google Analytics 會自動排除已知機器人,而且您無法關閉這項功能。請改用伺服器紀錄檔或防火牆儀表板。

我應該多久查看一次紀錄檔?

每次更改主機、防火牆或 robots.txt 之後查看,其他時候每隔幾個月看一次。開啟紀錄檔封存,這樣就有歷史資料可以比較。

為什麼我的紀錄檔裡從來沒有 Google-Extended?

因為它不是爬蟲。它是 robots.txt 中的一項設定,決定 Google 可以如何使用 Googlebot 已經檢索的網頁,所以這些造訪會顯示為 Googlebot。

機器人會無視我的 robots.txt 嗎?

由使用者觸發的擷取程式可能會。OpenAI 說 robots.txt 規則對 ChatGPT-User「may not apply」(可能不適用);Perplexity 說 Perplexity-User「generally ignores robots.txt rules」(通常會忽略 robots.txt 規則)。假機器人什麼都不管。

您的情況不同?

繼續閱讀

下一篇檢索效率:別讓 Google 把檢索浪費在垃圾網址上檢索效率決定 Google 多快為您的網頁建立索引,而不是網頁瀏覽量。哪些篩選、排序和重複網址在浪費檢索,以及如何阻止。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. OpenAI: Overview of OpenAI Crawlers
  2. Claude Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?
  3. Anthropic: crawler IP list (bots.json)
  4. Perplexity Docs: Perplexity crawlers
  5. Google Crawling Infrastructure: Verify requests from Google crawlers and fetchers
  6. Google Crawling Infrastructure: Google's common crawlers
  7. Google Crawling Infrastructure: Optimize your crawl budget
  8. Google Crawling Infrastructure: Myths about crawling
  9. Apple Support: About Applebot
  10. Bing: Bingbot IP list (bingbot.json)
  11. Bing Webmaster Guidelines
  12. Google Search Central: AI features and your website
  13. Analytics Help: Known bot-traffic exclusion
  14. cPanel Docs: Raw Access
  15. Apache HTTP Server Docs: Log Files
  16. Cloudflare Docs: AI Crawl Control