產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

搜尋引擎爬蟲:機器人如何找到並讀取您的網站

更新於 · 閱讀約 7 分鐘

簡短回答 爬蟲是一種程式,會順著連結從一個網頁爬到另一個網頁,把找到的內容下載下來,供搜尋引擎建立索引。幫它的方法:替每個重要網頁加上一般連結,網站較大時再加一份 Sitemap。控制它的方法:robots.txt(決定它能擷取什麼)和 noindex(決定什麼能出現在搜尋結果中)。大多數小型網站只需要這些。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

搜尋引擎爬蟲是怎麼運作的?

爬蟲(也稱為機器人或蜘蛛)是一種下載網頁的軟體,搜尋引擎據此決定要不要把網頁存進索引,也就是搜尋結果所依據的資料庫。Google 的爬蟲叫 Googlebot。Google 把這個過程分成三個階段,網頁在任何一個階段都可能被淘汰:

階段發生什麼事什麼會讓它停下
探索Google 得知某個網址存在,主要透過它已知網頁上的連結,或透過 Sitemap沒有任何連結指向這個網頁
檢索Googlebot 擷取網頁,並用較新版本的 Chrome 執行網頁的 JavaScriptrobots.txt 封鎖、伺服器錯誤、需要登入
建立索引Google 讀取文字、標題和圖片,在重複版本中選出一個,並可能把它存起來noindex 標記、內容品質低

排名發生在這三個階段之後,而且誰都無法花錢跳過它們:

"Google doesn't accept payment to crawl a site more frequently, or rank it higher. If anyone tells you otherwise, they're wrong." (Google Search Central: In-depth guide to how Google Search works) 譯文:「Google 不會收費來更頻繁地檢索某個網站,也不會收費提高它的排名。如果有人跟您說可以,那他就錯了。」

根據 Google 的 Googlebot 網頁,有三點會影響您怎麼架設網站:

  • 它主要以手機身分瀏覽。 Google 對大多數網站都以行動版建立索引,所以大部分造訪來自 Googlebot Smartphone。行動版版面中缺少的內容可能會被漏掉。
  • 大檔案它只讀開頭。 它只擷取網頁或其他支援檔案的前 2MB(PDF 為 64MB),其餘部分忽略。舊文章常說 15MB;現在的網頁寫的是 2MB。
  • 它造訪得很溫和。 在大多數網站上,平均每隔幾秒最多來一次。

哪些爬蟲會造訪小型企業網站?

您的主機或分析記錄會依名稱(「使用者代理程式」,user agent)列出它們。與搜尋相關的有這些:

爬蟲營運者為誰提供資料
Googlebot Smartphone 和 DesktopGoogleGoogle 搜尋、Discover、圖片、新聞
BingbotMicrosoftBing
ApplebotAppleSpotlight、Siri 和 Safari 搜尋
AI 機器人(GPTBot、ClaudeBot、PerplexityBot 等)AI 公司AI 訓練或 AI 回答

Apple 表示,Applebot 的資料用於「Spotlight, Siri, and Safari」(Spotlight、Siri 和 Safari)中的搜尋。要不要讓 AI 機器人進來是另一個問題:請參閱您該封鎖 AI 爬蟲嗎?。

爬蟲怎麼找到新網頁?

主要靠順著連結走。Google 說得很直白:

"Every page you care about should have a link from at least one other page on your site." (Google Search Central: Make your links crawlable) 譯文:「您在意的每個網頁,都應該至少有一個來自您網站其他網頁的連結。」

連結必須是真正的連結。Google 表示,一般只有標準的 HTML 連結標記(「a」元素)帶有 href 位址時,它才能檢索。只靠指令碼跳轉到網頁的按鈕可能永遠不會被追蹤。大多數架站工具產生的都是正規連結;問題通常出在自訂程式碼寫的選單上。

其他入口,依對小型網站的用處由大到小排列:

  1. Sitemap,一個列出您網頁位址的檔案。Google 表示,大約 500 頁或更少、網頁之間連結良好的網站可能不需要它,而且 WordPress、Wix 等系統通常會自動替您發布一份。Google 會忽略其中的 `priority` 和 `changefreq` 值。
  2. 在 Search Console 的網址審查工具中要求建立索引,適用於單一新網頁或修改過的網頁。Google 提醒,檢索「can take anywhere from a few days to a few weeks」(可能需要幾天到幾週不等),有配額限制,重複要求也不會更快。
  3. IndexNow,一種通知機制,告訴 Bing、Yandex、Naver、Seznam、Yep 等搜尋引擎某個網頁有變更。提交一次,所有參與的引擎都會收到。Google 不在它的參與引擎名單上。

新網頁過了幾週還沒出現?那是建立索引的問題:請參閱已檢索或已找到,目前尚未建立索引。

怎麼控制爬蟲的行為?

依您的目的選擇工具,因為它們各有各的用途:

您想要用什麼原因
讓爬蟲略過某些網址(站內搜尋結果頁、日期無窮無盡的行事曆)robots.txt,放在 yoursite.com/robots.txt 的文字檔節省檢索;但不會隱藏網頁
讓某個網頁不出現在搜尋結果中(感謝頁、員工登入頁)網頁程式碼中的 noindex 標記Google 下次檢索該網頁時會將它移除
讓外人打不開某個網頁(客戶檔案)密碼保護唯一能真正保密的方法

要避免的錯誤是用 robots.txt 隱藏網頁:

"it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 譯文:「它不是讓網頁不出現在 Google 上的機制。若要讓網頁不出現在 Google 上,請用 noindex 禁止建立索引,或以密碼保護該網頁。」

也不要兩者並用。Google 表示,被 robots.txt 封鎖的網頁永遠不會被檢索,所以爬蟲根本看不到它的 noindex;如果其他網站連結到它,這個網頁仍可能出現在結果中。

robots.txt 還有一個陷阱:如果這個檔案傳回伺服器錯誤,根據 Google 的 robots.txt 規則,它在前 12 小時內會停止檢索整個網站,之後最多 30 天使用上一份正常的副本。檔案不存在(傳回 404)沒關係;Google 會認為沒有任何限制。

小型企業需要擔心檢索預算嗎?

幾乎不需要。檢索預算是 Google 能夠且願意在您網站上檢索的網址數量。Google 自己的指南寫明了適用對象:每週更新、頁數達 100 萬或以上的網站,每天更新、頁數達 1 萬或以上的網站,或大量內容處於「已找到 - 目前尚未建立索引」狀態的網站。它還補充說:

"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Search Central: Crawl budget management for large sites) 譯文:「如果您的網站沒有大量快速變動的網頁,或您的網頁似乎在發布當天就被檢索,您就不需要閱讀本指南。」

對任何網站都仍有幫助的:快速穩定的伺服器(回應一直很快時,Google 會提高檢索上限),以及對已刪除的網頁傳回真正的 404 或 410 狀態碼。

爬蟲拖慢了我的網站怎麼辦?

先確認訪客是不是真的。Google 表示它的使用者代理程式名稱「is often spoofed」(經常被冒用),所以自稱 Googlebot 的機器人不一定是真的。真的 Googlebot 能通過反向 DNS 查詢:記錄中的 IP 位址解析出的名稱以 googlebot.com、google.com 或 googleusercontent.com 結尾,而且這個名稱能再解析回同一個 IP。Apple 的真爬蟲解析為 applebot.apple.com。您的主機商可以替您做這項檢查。

如果確實是 Googlebot,而您的伺服器負荷不了:

  • Search Console 的檢索頻率設定已經沒有了。 Google 在 2024 年 1 月 8 日移除了檢索頻率限制工具。
  • robots.txt 中的 crawl-delay 對 Google 無效。 Google 的 robots.txt 規則把 crawl-delay 列為「aren't supported」(不受支援)的欄位之一。
  • 緊急情況下,傳回 500、503 或 429 錯誤碼,持續幾小時或 1–2 天。Google 會放慢速度,錯誤停止後再恢復。時間再長,網頁可能會從 Google 的索引中消失。
  • 找出原因。 Google 表示,檢索量突然暴增通常來自會產生無窮網址的篩選和排序選項或行事曆。用 robots.txt 封鎖它們。

範例

以下為示意案例,數字為虛構。

一位水電師傅的 25 頁 WordPress 網站

老闆擔心 Google 找不到他新做的熱水器網頁。這個網頁在「服務」選單中有連結,WordPress 也已經發布了 Sitemap。他在 Search Console 中要求建立索引一次,然後等待。不用管檢索預算,不用 Sitemap 工具,也不用付費的「提交服務」。

一家牙科診所的線上預約行事曆

主機商回報機器人流量很大。記錄顯示 Googlebot 正在擷取成千上萬個行事曆日期網址。在 robots.txt 中加一行封鎖行事曆路徑,問題就解決了。療程網頁仍然可以被檢索。

一位記帳師的客戶上傳資料夾

客戶資料夾中的一份 PDF 出現在 Google 上。robots.txt 解決不了這個問題。她替資料夾加上密碼,然後請 Google 移除舊網址;請參閱從 Google 移除資訊。

常見問題

Googlebot 多久檢索一次我的網站?

Google 不公布時間表。Googlebot 造訪大多數網站時,平均每隔幾秒最多一次;越熱門的網頁被檢索得越頻繁。

我能付錢讓 Google 更快檢索我的網站嗎?

不能。Google 表示它不接受付費來提高檢索頻率或排名。任何販售「Google 提交」服務的人,賣的都是免費的東西。

Googlebot 看得到用 JavaScript 載入的內容嗎?

通常看得到。Google 用較新版本的 Chrome 轉譯網頁,有時會延遲一段時間。Google 稱伺服器端轉譯是「a great idea」(很好的做法):因為不是每個機器人都會執行 JavaScript。

我應該在 robots.txt 中封鎖惡意機器人嗎?

作用不大。Google 表示 robots.txt「cannot enforce crawler behavior」(無法強制爬蟲遵守);守規矩的爬蟲會遵守它。無視它的擷取程式需要用防火牆或主機商的機器人防護來擋。

您的情況不同?

繼續閱讀

下一篇搜尋引擎飽和度:是什麼意思,怎麼衡量搜尋引擎飽和度是指您的網頁中被 Google 建立索引的比例。如何在 Search Console 中衡量、什麼數字算健康,以及它的限制。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Search Central: In-depth guide to how Google Search works
  2. Google Search Central: Googlebot
  3. Google Search Central: Make your links crawlable
  4. Google Search Central: Understand JavaScript SEO basics
  5. Google Search Central: What is a sitemap
  6. Google Search Central: Build and submit a sitemap
  7. Google Search Central: Ask Google to recrawl your URLs
  8. Google Search Central: Introduction to robots.txt
  9. Google Search Central: How Google interprets the robots.txt specification
  10. Google Search Central: Block Search indexing with noindex
  11. Google Search Central: Crawl budget management for large sites
  12. Google Crawling Infrastructure: Reduce the Google crawl rate
  13. Google Search Central Blog: Upcoming deprecation of Crawl Rate Limiter Tool in Search Console (November 2023)
  14. Google Crawling Infrastructure: Verify requests from Google crawlers and fetchers
  15. Apple Support: About Applebot
  16. Bing Webmaster Blog: New options for webmasters to control usage of their content in Bing Chat (2023)
  17. IndexNow: FAQ
  18. IndexNow: participating search engines list