為 LLM 最佳化您的網站:爬蟲、結構化資料和常見問題
簡短回答 要為 LLM 最佳化網站,就要放行它們的搜尋機器人,並提供純文字。在 robots.txt 和防火牆中允許 OAI-SearchBot、PerplexityBot、Googlebot 和 Bingbot,讓 Google 和 Bing 將您的網頁編入索引,並把關鍵資訊寫在網頁的 HTML 裡,而不是只放在 JavaScript 或圖片中。結構化資料和 FAQ 標記可有可無;Google 不使用 llms.txt。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話LLM 是怎麼存取您的網站的?
主要是透過一個已經檢索過您網頁的搜尋系統。Google 的 AI 回答讀取 Google 的索引,Copilot 讀取 Bing 的索引,而 ChatGPT、Perplexity 和 Claude 會派出各自的搜尋機器人。Google 的 AI 最佳化指南寫道:
"The way Google Search finds and processes your pages remains the core of how our AI systems access your data." (Google Search Central: Optimizing for generative AI features) 譯文:「Google 搜尋發現和處理您網頁的方式,仍然是我們的 AI 系統取得您資料的核心。」
| AI 回答 | 從哪裡讀取您的網站 | 需要符合的條件 |
|---|---|---|
| Google AI 摘要(AI Overviews)和 AI 模式(AI Mode) | Google 搜尋索引 | 網頁已編入索引、允許顯示摘要、「Search generative AI」設為 Include |
| Microsoft Copilot、Bing AI 摘要 | Bing 索引 | 允許 Bingbot,網頁已被 Bing 編入索引 |
| ChatGPT 搜尋 | OAI-SearchBot | robots.txt 和防火牆都放行該機器人 |
| Perplexity | PerplexityBot | 同上 |
| Claude | Claude-SearchBot | 同上 |
Microsoft 表示,Bing 和 Copilot「rely on the same core crawling, indexing, and ranking foundation as traditional search」(倚靠與傳統搜尋相同的核心檢索、索引和排名基礎)(Bing Webmaster Guidelines)。機器人名稱來自各公司的爬蟲說明頁面。
第 1 步:讓 AI 搜尋機器人通過 robots.txt 和防火牆
開啟 yourdomain.com/robots.txt。查看 OAI-SearchBot、PerplexityBot、Claude-SearchBot、Googlebot、Bingbot 或「User-agent: *」(所有機器人)底下有沒有「Disallow: /」這一行。封鎖 GPTBot 和 ClaudeBot 這類訓練機器人,並不會讓您從 AI 回答中消失。各機器人分別做什麼:該不該封鎖 AI 爬蟲?
接著檢查防火牆,因為被防火牆擋下的機器人根本讀不到 robots.txt。Google 列出的 AI 功能基本要求中,包括允許「by any CDN or hosting infrastructure」(任何 CDN 或代管基礎架構)放行檢索。OpenAI 建議為 OAI-SearchBot「allowing requests from our published IP ranges」(允許來自我們公布的 IP 範圍的請求),Perplexity 對 PerplexityBot 也有同樣要求。兩個常見陷阱:
- 「驗證您是真人」頁面。 Anthropic 表示,它的機器人「will not attempt to bypass CAPTCHAs」(不會嘗試繞過驗證碼)。驗證頁面會把它們擋在外面。
- Cloudflare 的 Bot Fight Mode。 Perplexity 的文件提醒,即使您加了放行規則,它也「can still challenge Perplexity bots」(仍可能攔下 Perplexity 的機器人要求驗證)。
變更需要時間生效。OpenAI 表示,robots.txt 更新後大約需要 24 小時。
第 2 步:讓 Google 和 Bing 將您的網頁編入索引
Google 的 AI 回答只會連結已編入索引、並且「eligible to be shown in Google Search with a snippet」(有資格在 Google 搜尋中帶摘要顯示)的網頁(Google Search Central: AI features and your website)。Copilot 使用 Bing 的索引。所以:
- 在 Google Search Console 和 Bing Webmaster Tools 中驗證您的網站,並向兩者提交 XML 網站地圖。Bing 會立即擷取新的網站地圖,之後「typically at least once per day」(通常至少每天一次)(Bing Webmaster Blog, July 2025)。
- 在兩個工具中對主要網頁執行網址檢查(URL Inspection)。Bing 的 Live URL 分頁會顯示「exactly what the Bingbot sees」(Bingbot 看到的確切內容)。
- 如果您的架站平台支援 IndexNow,就把它開啟。Bing 表示,它會在「individual URLs are added, updated, or removed」(個別網址被新增、更新或移除)時通知「Bing and participating search engines」(Bing 和參與的搜尋引擎)。
- 在 Search Console 中,開啟 Settings(設定),再開啟 Search generative AI。預設是 Include。選擇 Exclude 會把您的連結和內容從 AI 摘要、AI 模式以及 Google Discover 的 AI 功能中移除。到 2026 年 8 月 31 日,Google 已向全球所有網站推出這項設定,所以請確認沒有人把它關掉。
網頁沒出現在 Google 上:網站在 Google 上搜尋不到,以及已檢索或已發現,但目前尚未建立索引。
第 3 步:把關鍵資訊寫進 HTML,而不是只放在 JavaScript 或圖片裡
快速測試:開啟一個服務頁面,按右鍵,選擇「檢視網頁原始碼」,然後搜尋(Ctrl+F,Mac 上是 Cmd+F)您的電話號碼、一個服務名稱和一個價格。如果原始碼裡找不到,表示它們是網頁載入後由 JavaScript 畫上去的,有些 AI 爬蟲可能永遠看不到。
- Google: 伺服器端算繪或預先算繪「is still a great idea because it makes your website faster for users and crawlers, and not all bots can run JavaScript」(仍然是個好主意,因為它能讓網站對使用者和爬蟲都更快,而且並非所有機器人都能執行 JavaScript)(Google Search Central: JavaScript SEO basics)。
- Bing 把「Hiding critical content behind client-side rendering」(把關鍵內容藏在用戶端算繪後面)列為應避免的做法。
- 網站代管商 Vercel 在 2024 年 12 月的一項測試發現,OpenAI、Anthropic 和 Perplexity 的爬蟲不執行 JavaScript;Googlebot 會執行。它們現在的爬蟲說明頁面對 JavaScript 隻字未提,所以請以它們仍不執行為前提來規劃。
解決方法是對主要內容使用伺服器端算繪或預先算繪;如果是客製網站,這需要開發人員來做。聊天視窗和評論輪播可以繼續用 JavaScript。
圖片裡的文字也有同樣的問題。Google 的檢查清單包括「Making sure that important content is available in textual form」(確保重要內容以文字形式提供),Bing 也表示圖片和影片「should not be the sole source of information」(不應是唯一的資訊來源)。照片裡的價目表、存成 JPG 的菜單、只在地圖上顯示的服務範圍:請把它們用文字寫在網頁上。
第 4 步:檢查會把您擋在 AI 回答之外的標籤
Meta robots 標籤可以在程式碼裡設定,也可能由 SEO 外掛加上,它們會限制 AI 回答能使用的內容。在網頁原始碼中搜尋「robots」和「snippet」。
| 標籤 | Google AI 摘要和 AI 模式 | Copilot |
|---|---|---|
| noindex | 從 Google 搜尋中消失,AI 功能也一樣 | 從 Bing 搜尋和 Copilot 中消失 |
| nosnippet | 沒有摘要,因此沒有資格作為輔助連結 | 「may limit Copilot citation quality」(可能降低 Copilot 的引用品質) |
| data-nosnippet、max-snippet | 限制 Google 可以顯示的文字 | data-nosnippet:與 nosnippet 相同 |
| noarchive | 不在 Google 的 AI 控制項清單中 | 「prevents content from being used in Copilot responses」(防止內容被用於 Copilot 回答) |
| nocache | 不在 Google 的 AI 控制項清單中 | Copilot 只能取得網址、標題和摘要 |
來源:Google Search Central(AI features and your website)和 Bing Webmaster Guidelines。在私人頁面上用這些標籤沒問題。在服務頁面上,它們通常是開發人員或外掛留下的。
LLM 需要結構化資料嗎?
不需要。Google 表示:
"Structured data isn't required for generative AI search, and there's no special schema.org markup you need to add." (Google Search Central: Optimizing for generative AI features) 譯文:「生成式 AI 搜尋不需要結構化資料,也沒有需要您另外加上的特殊 schema.org 標記。」
Microsoft 的態度比較正面:結構化資料「may support clearer grounding but does not guarantee visibility」(可能有助於更清楚的依據,但不保證曝光),而且「must accurately reflect visible content」(必須準確反映可見內容)(Bing Webmaster Guidelines)。OpenAI 和 Perplexity 的爬蟲說明頁面都沒有提到它。只有當 LocalBusiness 或 Organization 標記與訪客看到的內容一致時,才保留它們。哪些類型仍然有用:在地商家結構化資料標記。
FAQ 區塊對 AI 回答有幫助嗎?
頁面上看得到的問答可以有幫助。FAQ 標記在 Google 上已經不會帶來任何可見的呈現:Google 從 2026 年 5 月 7 日起不再顯示 FAQ 複合式搜尋結果(Google Search Central: documentation updates)。Microsoft 在推出其 AI 引用報告時表示:「Clear headings, tables, and FAQ sections help surface key information and make content easier for AI systems to reference accurately.」(清楚的標題、表格和 FAQ 區塊有助於呈現關鍵資訊,讓 AI 系統更容易準確引用內容。)
讓 FAQ 能被讀到的,是網站設定:
- 寫在 HTML 裡。 答案必須通過網頁原始碼測試,而不是要等有人點選問題才載入。
- 放在服務頁面上。 Bing 表示:「URLs focused on a primary topic are more likely to be selected for grounding results.」(專注於一個主要主題的網址更可能被選為回答依據。)價格問題請在價格頁面上回答,而不是集中在一個包山包海的 FAQ 頁面。
- 放在前面的位置。 Bing 表示:「Place essential information near the top of the URL.」(把重要資訊放在網頁靠前的位置。)
可以略過的:llms.txt 和給 AI 看的隱藏文字
- llms.txt 和 Markdown 副本。 Google 表示:「You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn't use them.」(您不需要為了出現在 Google 搜尋中(包括其生成式 AI 功能)而建立新的機器可讀檔案、AI 文字檔、標記或 Markdown,因為 Google 搜尋本身不使用它們。)在 Google 上保留這樣一個檔案「will neither harm nor help」(既無害也無益)。OpenAI、Perplexity 和 Anthropic 的爬蟲說明頁面也沒有要求網站擁有者提供。
- 針對 AI 的隱藏文字。 Bing 警告,「designed to manipulate or interfere with language models used by Bing or Copilot」(旨在操縱或干擾 Bing 或 Copilot 所用語言模型)的內容「may result in reduced visibility or removal」(可能導致曝光降低或被移除)。自 2026 年 5 月起,禁止隱藏文字的 Google 垃圾內容政策也涵蓋了「attempting to manipulate generative AI responses」(試圖操縱生成式 AI 回答)。
怎麼知道 AI 工具能讀到您的網站?
- Copilot: Bing Webmaster Tools 的 AI Performance 報告自 2026 年 2 月起公開預覽,會顯示哪些網頁在 Copilot 和 Bing 的 AI 摘要中被引用。
- Google: Search Console 的 Generative AI 成效報告涵蓋其 AI 功能(Google 的 AI 最佳化指南)。
- ChatGPT: 它會在送出的連結加上 utm_source=chatgpt.com,所以這些造訪會出現在您的分析資料裡(OpenAI Help Center)。
完整的分階段檢查:GEO 成熟度模型。
範例
以下為說明性案例,並非客戶成果。
價目表是一張照片的園藝造景業者
價格頁面是一張印刷傳單的掃描檔。檢視網頁原始碼,裡面沒有價格,所以沒有任何爬蟲讀得到。他把五項主要價格用表格寫在網頁上,傳單則保留為可下載檔案。
被機器人驗證擋住的牙醫診所
一個安全性外掛會向它不認得的訪客顯示「驗證您是真人」。PerplexityBot 和 Claude 的機器人收到的都是驗證頁面。解決方法:依公布的 IP 範圍放行經過驗證的搜尋機器人,其他訪客照常驗證。
用 JavaScript 應用程式建置的律師事務所網站
網頁原始碼裡只有一個標題和一段指令碼,其他什麼都沒有。Bing 的 Live URL 檢視證實了這個缺口。開發人員為各執業領域頁面開啟了預先算繪,現在網頁原始碼測試能看到每一個段落。
常見問題
網頁速度對 AI 爬蟲重要嗎?
Google 的 AI 指南把網頁體驗(包括「reducing latency」,即降低延遲)列為基本要求之一。OpenAI、Perplexity 和 Anthropic 的爬蟲說明頁面沒有規定速度門檻。關於訪客體驗,請看 Core Web Vitals(網站使用體驗核心指標)。
變更多久後才生效?
OpenAI:robots.txt 變更後大約 24 小時。Google:檢索需要「anywhere from several days to several months」(幾天到幾個月不等)。切換 Search generative AI 設定一般需要幾天。
在加拿大有什麼不同嗎?
沒有。Google 的 Search generative AI 設定適用於全球,OpenAI、Perplexity、Anthropic 和 Bing 的爬蟲規則也沒有國家限制。
我需要開發人員嗎?
第 1、2、4 步通常不需要:它們都是您的代管商、防火牆、Search Console 和 Bing Webmaster Tools 裡的設定。如果您的網頁是用 JavaScript 建置的,第 3 步往往需要。
您的情況不同?
- 您在考慮封鎖哪些 AI 機器人:該不該封鎖 AI 爬蟲?
- 您的網頁在 Google 上完全搜尋不到:網站在 Google 上搜尋不到
- 您想了解結構化資料的細節:在地商家結構化資料標記
- Copilot 把您的營業時間或地址弄錯了:Bing Places 和 Copilot
- 您的網站建置方式讓爬蟲只看到空白頁面:網站代理
- 您寧願讓別人幫您檢查設定:SEO 與 GEO 代理