訓練爬蟲與搜尋爬蟲:怎麼區分
每家 AI 公司都用不同的爬蟲來訓練模型和尋找可引用的網頁。封鎖前一種,對客戶毫無影響。封鎖後一種,那個 AI 助理就無法提到您。
| 公司 | 僅用於訓練 | 搜尋:封鎖後您會消失 | 使用者提問時擷取網頁 |
|---|---|---|---|
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | 未列出 | PerplexityBot | Perplexity-User |
| Google-Extended(也影響 Gemini 應用程式的回答) | Googlebot | ||
| Apple | Applebot-Extended | Applebot(Siri、Spotlight、Safari) | |
| Microsoft | 未列出獨立的爬蟲 | Bingbot(Bing 和 Copilot) |
來源:OpenAI、Anthropic、Perplexity、Google、Apple、Bing。
OpenAI 明確說明這是兩個獨立的選擇:
"Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI's generative AI foundation models." (OpenAI) 譯文:「每項設定都互不影響——例如,網站管理員可以允許 OAI-SearchBot 以出現在搜尋結果中,同時禁止 GPTBot,表示擷取的內容不應用於訓練 OpenAI 的生成式 AI 基礎模型。」
封鎖搜尋爬蟲的代價:封鎖了 OAI-SearchBot 的網站「will not be shown in ChatGPT search answers, though can still appear as navigational links」(不會出現在 ChatGPT 的搜尋回答中,但仍可能以導覽連結的形式出現)(OpenAI)。Anthropic 對 Claude-SearchBot 的說法也一樣:封鎖它「may reduce your site's visibility and accuracy in user search results」(可能降低您的網站在使用者搜尋結果中的能見度和準確度)(Anthropic)。
我該封鎖 GPTBot 嗎?
由您決定,而且不會讓您從 ChatGPT 的回答中消失。GPTBot 只收集「that may be used in training」(可能用於訓練)的網頁(OpenAI)。Apple 對它的訓練標記說得同樣清楚:「Webpages that disallow Applebot-Extended can still be included in search results」(禁止 Applebot-Extended 的網頁仍可出現在搜尋結果中)(Apple)。
對大多數服務業來說,封鎖與否影響都不大。列出您的服務、服務地區和營業時間的網頁,本來就是希望被轉述的。如果是原創文章或付費課程內容,封鎖的理由就更充分。
Google-Extended 的陷阱
封鎖 Google-Extended 後,您仍留在 Google 搜尋中,但會從 Gemini 應用程式以來源為依據的回答中消失。Google 用這個標記控制 Gemini 的訓練,以及「in Gemini Apps」(在 Gemini 應用程式中)用其搜尋索引內容為回答提供依據(Google)。
"Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search." (Google) 譯文:「Google-Extended 不影響網站是否被收錄到 Google 搜尋中,也不作為 Google 搜尋的排名信號。」
Google 的 AI 摘要和 AI 模式有自己的開關。自 2026 年 8 月 31 日起,每個網站都可以在 Search Console 的「設定」下找到「搜尋生成式 AI 控制項」(Search generative AI control)。選擇排除後,您的網站將不會出現在 AI 摘要、AI 模式和 Discover 的 AI 功能中:
"You won't receive any traffic or impressions from these features." (Search Console Help) 譯文:「您將不會從這些功能獲得任何流量或曝光次數。」
Google 表示這個開關「isn't used as a ranking or inclusion signal affecting other parts of Search」(不會作為影響搜尋其他部分的排名或收錄信號)(Search Console Help)。對想要客戶的商家來說,保持「包含」(Include)是合理的。
如何在 robots.txt 中封鎖 AI 爬蟲
在網站根目錄的 robots.txt 檔案中,每個爬蟲加兩行。要讓訓練爬蟲遠離整個網站:
| 行 | 意思 |
|---|---|
| User-agent: GPTBot | 下一條規則針對 OpenAI 的訓練爬蟲 |
| Disallow: / | 不要擷取任何網頁 |
| User-agent: ClaudeBot | Anthropic 的訓練爬蟲 |
| Disallow: / | 不要擷取任何網頁 |
| User-agent: Applebot-Extended | Apple 的訓練標記 |
| Disallow: / | 不要用任何網頁做訓練 |
- 只封鎖一個資料夾:在 Disallow 後面寫上路徑,例如 /blog/。Google 自己的範例就是這樣封鎖一個封存資料夾的(Google)。
- 每個子網域都要重複設定。 Anthropic 要求「for every subdomain that you wish to opt out from」(在每個您希望退出的子網域上)都加上規則(Anthropic)。
- 等一天。 OpenAI 和 Perplexity 都表示變更大約需要 24 小時生效(OpenAI、Perplexity)。
除非您想退出這些回答,否則不要為 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot、Googlebot、Bingbot 或 Applebot 加上 Disallow 規則。
robots.txt 不是安全措施:noindex 與 disallow
robots.txt 只是一個請求。Google 說:「it's up to the crawler to obey them」(是否遵守由爬蟲自己決定)(Google Search Central)。兩個由使用者觸發的擷取程式直接表示可能不遵守:ChatGPT-User(「robots.txt rules may not apply」,robots.txt 規則可能不適用)和 Perplexity-User(「generally ignores robots.txt rules」,通常忽略 robots.txt 規則)(OpenAI、Perplexity)。
"A robots.txt file tells search engine crawlers which URLs the crawler can access on your site. This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central) 譯文:「robots.txt 檔案告訴搜尋引擎爬蟲可以存取您網站上的哪些網址。它主要用於避免您的網站因請求過多而超載;它並不是讓網頁不出現在 Google 中的機制。」
| 您想要 | 使用 | 原因 |
|---|---|---|
| 阻止爬蟲擷取 | robots.txt 的 Disallow | 如果其他網站連結到被禁止的網頁,它仍可能被收錄(Google) |
| 讓網頁不出現在 Google 中 | noindex,且不要同時在 robots.txt 中封鎖 | Google 必須擷取網頁才能看到 noindex(Google) |
| 讓檔案保密 | 密碼 | robots.txt 無法強制執行任何事(Google) |
| 盡快從 Google 隱藏網頁 | Search Console 的「移除」工具(Removals) | 效果約持續六個月,所以還要加 noindex 或刪除網頁(Search Console Help) |
Cloudflare 和其他防火牆
先檢查防火牆,再看 robots.txt。被防火牆擋下的爬蟲根本讀不到您的規則。
2025 年 7 月起,Cloudflare 在每個新網域註冊時詢問是否允許 AI 爬蟲,預設選項是封鎖(Cloudflare)。它的文件於 2026 年 11 月 2 日更新,現在表示新網域對搜尋、代理和訓練爬蟲預設允許(Cloudflare Docs)。如果您的網站是在這段期間之間設定的,請檢查當時選了什麼。
依序進入 Security、Settings,再找到 AI Crawler and Agent access policies。有兩點很重要(Cloudflare Docs):
- 設定分為 Search(搜尋)、Agent(代理)和 Training(訓練)三類。保持 Search 為允許。
- 「Training actions also apply to mixed-purpose crawlers used for both Search and Training.」(訓練類操作也適用於同時用於搜尋和訓練的混合用途爬蟲。)封鎖 Training 可能連帶封鎖一個搜尋爬蟲。選擇 Disallow(即 robots.txt 規則)比較溫和。
Bing 和 Copilot:用 meta 標籤控制
Bing 沒有列出獨立的 AI 爬蟲:Bingbot 同時為 Bing 和 Copilot 擷取。要限制 Copilot 又不退出 Bing,可以使用 Bing 的網頁層級標籤:
"NOARCHIVE prevents content from being used in Copilot responses and grounding results." (Bing Webmaster Guidelines) 譯文:「NOARCHIVE 可防止內容被用於 Copilot 的回答和依據結果。」
NOCACHE 是折衷設定:Copilot 只能使用「the URL, title, and snippet」(網址、標題和摘要)(Bing Webmaster Guidelines)。
範例
一位主機商封鎖了「AI 擷取程式」的水電工
防火牆的 AI 設定封鎖了所有爬蟲,所以 ChatGPT 和 Perplexity 從不引用這個網站。解決辦法:Search 和 Agent 設為允許,Training 設為 Disallow。客戶的 AI 助理現在能讀取服務網頁;訓練爬蟲仍被要求不要進入。
一位寫原創文章的心理治療師
她禁止了 GPTBot、ClaudeBot 和 Applebot-Extended。她沒有動 Google-Extended,所以 Gemini 應用程式仍能使用她的網頁,並讓所有搜尋爬蟲保持允許。
一家有客戶文件資料夾的律師事務所
這個資料夾用 robots.txt 的 Disallow「隱藏」起來,而這只是請求爬蟲不要進入。解決辦法是幫資料夾加上登入,並為已經被收錄的網頁加上 noindex。
您的情況不同?
- 您想要更多 AI 提及,而不是更少:如何在 Perplexity、Gemini 和 Claude 中獲得排名,以及讓 ChatGPT 推薦您。
- 您的網站根本不在 Google 上:網站沒有出現在 Google 上。
- 有關您商家的某些資訊需要從 Google 上移除:從 Google 移除資訊。
- 有人向您推銷「AI 爬蟲最佳化」:GEO 值得花錢做嗎?
- 您更希望有人設定好並持續檢查:SEO 與 GEO 代理。