產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

該封鎖 AI 爬蟲嗎?GPTBot、ClaudeBot 和 robots.txt

更新於 · 閱讀約 5 分鐘

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

訓練爬蟲與搜尋爬蟲:怎麼區分

每家 AI 公司都用不同的爬蟲來訓練模型和尋找可引用的網頁。封鎖前一種,對客戶毫無影響。封鎖後一種,那個 AI 助理就無法提到您。

公司僅用於訓練搜尋:封鎖後您會消失使用者提問時擷取網頁
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
Perplexity未列出PerplexityBotPerplexity-User
GoogleGoogle-Extended(也影響 Gemini 應用程式的回答)Googlebot
AppleApplebot-ExtendedApplebot(Siri、Spotlight、Safari)
Microsoft未列出獨立的爬蟲Bingbot(Bing 和 Copilot)

來源:OpenAI、Anthropic、Perplexity、Google、Apple、Bing。

OpenAI 明確說明這是兩個獨立的選擇:

"Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI's generative AI foundation models." (OpenAI) 譯文:「每項設定都互不影響——例如,網站管理員可以允許 OAI-SearchBot 以出現在搜尋結果中,同時禁止 GPTBot,表示擷取的內容不應用於訓練 OpenAI 的生成式 AI 基礎模型。」

封鎖搜尋爬蟲的代價:封鎖了 OAI-SearchBot 的網站「will not be shown in ChatGPT search answers, though can still appear as navigational links」(不會出現在 ChatGPT 的搜尋回答中,但仍可能以導覽連結的形式出現)(OpenAI)。Anthropic 對 Claude-SearchBot 的說法也一樣:封鎖它「may reduce your site's visibility and accuracy in user search results」(可能降低您的網站在使用者搜尋結果中的能見度和準確度)(Anthropic)。

我該封鎖 GPTBot 嗎?

由您決定,而且不會讓您從 ChatGPT 的回答中消失。GPTBot 只收集「that may be used in training」(可能用於訓練)的網頁(OpenAI)。Apple 對它的訓練標記說得同樣清楚:「Webpages that disallow Applebot-Extended can still be included in search results」(禁止 Applebot-Extended 的網頁仍可出現在搜尋結果中)(Apple)。

對大多數服務業來說,封鎖與否影響都不大。列出您的服務、服務地區和營業時間的網頁,本來就是希望被轉述的。如果是原創文章或付費課程內容,封鎖的理由就更充分。

Google-Extended 的陷阱

封鎖 Google-Extended 後,您仍留在 Google 搜尋中,但會從 Gemini 應用程式以來源為依據的回答中消失。Google 用這個標記控制 Gemini 的訓練,以及「in Gemini Apps」(在 Gemini 應用程式中)用其搜尋索引內容為回答提供依據(Google)。

"Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search." (Google) 譯文:「Google-Extended 不影響網站是否被收錄到 Google 搜尋中,也不作為 Google 搜尋的排名信號。」

Google 的 AI 摘要和 AI 模式有自己的開關。自 2026 年 8 月 31 日起,每個網站都可以在 Search Console 的「設定」下找到「搜尋生成式 AI 控制項」(Search generative AI control)。選擇排除後,您的網站將不會出現在 AI 摘要、AI 模式和 Discover 的 AI 功能中:

"You won't receive any traffic or impressions from these features." (Search Console Help) 譯文:「您將不會從這些功能獲得任何流量或曝光次數。」

Google 表示這個開關「isn't used as a ranking or inclusion signal affecting other parts of Search」(不會作為影響搜尋其他部分的排名或收錄信號)(Search Console Help)。對想要客戶的商家來說,保持「包含」(Include)是合理的。

如何在 robots.txt 中封鎖 AI 爬蟲

在網站根目錄的 robots.txt 檔案中,每個爬蟲加兩行。要讓訓練爬蟲遠離整個網站:

行意思
User-agent: GPTBot下一條規則針對 OpenAI 的訓練爬蟲
Disallow: /不要擷取任何網頁
User-agent: ClaudeBotAnthropic 的訓練爬蟲
Disallow: /不要擷取任何網頁
User-agent: Applebot-ExtendedApple 的訓練標記
Disallow: /不要用任何網頁做訓練

除非您想退出這些回答,否則不要為 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot、Googlebot、Bingbot 或 Applebot 加上 Disallow 規則。

robots.txt 不是安全措施:noindex 與 disallow

robots.txt 只是一個請求。Google 說:「it's up to the crawler to obey them」(是否遵守由爬蟲自己決定)(Google Search Central)。兩個由使用者觸發的擷取程式直接表示可能不遵守:ChatGPT-User(「robots.txt rules may not apply」,robots.txt 規則可能不適用)和 Perplexity-User(「generally ignores robots.txt rules」,通常忽略 robots.txt 規則)(OpenAI、Perplexity)。

"A robots.txt file tells search engine crawlers which URLs the crawler can access on your site. This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central) 譯文:「robots.txt 檔案告訴搜尋引擎爬蟲可以存取您網站上的哪些網址。它主要用於避免您的網站因請求過多而超載;它並不是讓網頁不出現在 Google 中的機制。」
您想要使用原因
阻止爬蟲擷取robots.txt 的 Disallow如果其他網站連結到被禁止的網頁,它仍可能被收錄(Google)
讓網頁不出現在 Google 中noindex,且不要同時在 robots.txt 中封鎖Google 必須擷取網頁才能看到 noindex(Google)
讓檔案保密密碼robots.txt 無法強制執行任何事(Google)
盡快從 Google 隱藏網頁Search Console 的「移除」工具(Removals)效果約持續六個月,所以還要加 noindex 或刪除網頁(Search Console Help)

Cloudflare 和其他防火牆

先檢查防火牆,再看 robots.txt。被防火牆擋下的爬蟲根本讀不到您的規則。

2025 年 7 月起,Cloudflare 在每個新網域註冊時詢問是否允許 AI 爬蟲,預設選項是封鎖(Cloudflare)。它的文件於 2026 年 11 月 2 日更新,現在表示新網域對搜尋、代理和訓練爬蟲預設允許(Cloudflare Docs)。如果您的網站是在這段期間之間設定的,請檢查當時選了什麼。

依序進入 Security、Settings,再找到 AI Crawler and Agent access policies。有兩點很重要(Cloudflare Docs):

Bing 和 Copilot:用 meta 標籤控制

Bing 沒有列出獨立的 AI 爬蟲:Bingbot 同時為 Bing 和 Copilot 擷取。要限制 Copilot 又不退出 Bing,可以使用 Bing 的網頁層級標籤:

"NOARCHIVE prevents content from being used in Copilot responses and grounding results." (Bing Webmaster Guidelines) 譯文:「NOARCHIVE 可防止內容被用於 Copilot 的回答和依據結果。」

NOCACHE 是折衷設定:Copilot 只能使用「the URL, title, and snippet」(網址、標題和摘要)(Bing Webmaster Guidelines)。

範例

一位主機商封鎖了「AI 擷取程式」的水電工

防火牆的 AI 設定封鎖了所有爬蟲,所以 ChatGPT 和 Perplexity 從不引用這個網站。解決辦法:Search 和 Agent 設為允許,Training 設為 Disallow。客戶的 AI 助理現在能讀取服務網頁;訓練爬蟲仍被要求不要進入。

一位寫原創文章的心理治療師

她禁止了 GPTBot、ClaudeBot 和 Applebot-Extended。她沒有動 Google-Extended,所以 Gemini 應用程式仍能使用她的網頁,並讓所有搜尋爬蟲保持允許。

一家有客戶文件資料夾的律師事務所

這個資料夾用 robots.txt 的 Disallow「隱藏」起來,而這只是請求爬蟲不要進入。解決辦法是幫資料夾加上登入,並為已經被收錄的網頁加上 noindex。

您的情況不同?

繼續閱讀

下一篇網站在 Google 上搜不到:依序逐項檢查在 Google 上找不到您的網站?依序檢查:site: 搜尋、網址審查、noindex 與架站平台設定、新網站的等待時間,以及地圖與搜尋的差別。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. OpenAI: Overview of OpenAI Crawlers
  2. Claude Help Center: Does Anthropic crawl data from the web, and how can site owners block the crawler?
  3. Perplexity Docs: Perplexity crawlers
  4. Google Crawling Infrastructure: Google's common crawlers (Google-Extended)
  5. Search Console Help: Search generative AI control
  6. Apple Support: About Applebot
  7. Bing Webmaster Guidelines
  8. Google Search Central: Introduction to robots.txt
  9. Google Search Central: Block Search indexing with noindex
  10. Search Console Help: Removals tool
  11. Cloudflare press release: permission-based approach for AI crawlers (July 2025)
  12. Cloudflare Docs: AI Crawler and Agent access policies