檢索與索引:Google 如何找到並儲存您的網頁
簡短回答 Google 依序運作。它先透過連結或 Sitemap 找到網頁的網址,再下載網頁進行檢索,接著像瀏覽器一樣執行頁面程式碼進行轉譯,最後決定是否將它編入索引,也就是存進自己的資料庫。只有已編入索引的網頁才能出現在搜尋結果中。網頁可能在任何一個階段卡住。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話Google 如何找到並儲存一個網頁?
分四步,每一步成功後下一步才會開始。Google 介紹搜尋運作方式的指南說得很直白:
"Google Search works in three stages, and not all pages make it through each stage" (Google Search Central: How Google Search works) 譯文:「Google 搜尋分三個階段運作,並非所有網頁都能通過每個階段」
這三個階段是檢索、索引和提供搜尋結果。Google 自己的指南又從檢索中拆出兩步:先找到網址,以及在檢索時轉譯頁面。對企業主來說,最好理解成網頁能被顯示之前的四個步驟。
| 步驟 | Google 做什麼 | 什麼會擋住它 |
|---|---|---|
| 1. 發現 | 得知這個網頁的網址(URL)存在 | 沒有任何連結指向它,Sitemap 裡也沒有它 |
| 2. 檢索 | Google 的機器人 Googlebot 下載網頁 | robots.txt 封鎖、需要登入、伺服器錯誤 |
| 3. 轉譯 | 在 Chrome 瀏覽器中執行頁面程式碼,看到訪客看到的內容 | 只有點擊後才出現的文字或連結,或執行出錯的程式碼 |
| 4. 索引 | 讀取網頁,從重複網頁中選出一個版本,儲存起來 | noindex 標記、內容單薄或品質低、與另一個網頁幾乎相同 |
只有完成第 4 步,網頁才能在第 5 步「提供結果」中參與競爭,也就是出現在搜尋結果裡。排名是另一個問題;本指南談的是怎樣取得參賽資格。
Google 如何發現一個新網頁?
透過連結和 Sitemap。Google 維護一份已知網址清單,並透過三種方式擴充它:以前造訪過的網頁、在已知網頁上找到的連結,以及您提交給它的網頁清單,也就是 Sitemap(網站地圖)(Google Search Central: How Google Search works)。
您自己網頁上的連結也算數,不只是其他網站的連結。一個從首頁選單連過去的新服務頁面很容易被找到。一個沒有任何連結指向、也不在 Sitemap 裡的網頁,可能永遠不會被發現。在網站剛上線時,其他網站的連結最有幫助。
您需要 Sitemap 嗎?Google 表示,如果您的網站很小,也就是「about 500 pages or fewer」(大約 500 個網頁或更少),而且每個重要網頁都能從首頁點擊到達,那麼可能不需要。如果網站很大、是新網站且很少有其他網站連結,或者有大量影片和圖片,它建議提交一個(Google Search Central: Learn about sitemaps)。大多數架站工具會自動為您產生。Sitemap 有幫助,但不做任何保證:
"A sitemap helps search engines discover URLs on your site, but it doesn't guarantee that all the items in your sitemap will be crawled and indexed." (Google Search Central: Learn about sitemaps) 譯文:「Sitemap 有助於搜尋引擎發現您網站上的網址,但不保證 Sitemap 中的所有項目都會被檢索並編入索引。」
Google 檢索網頁時發生了什麼?
只要允許且做得到,Googlebot 就會下載網頁。Google 表示,由一個程式決定「which sites to crawl, how often, and how many pages to fetch from each site」(檢索哪些網站、多久檢索一次,以及每個網站擷取多少網頁),而且 Googlebot「doesn't crawl all the pages it discovered」(不會檢索它發現的所有網頁)(Google Search Central: How Google Search works)。當您的伺服器吃力時,它也會自動放慢:500 系列的伺服器錯誤會讓它減少檢索。
據 Google 說明,檢索失敗的常見原因有:伺服器問題、網路問題和 robots.txt 規則。robots.txt 是放在網站根目錄下的一個小文字檔,告訴機器人跳過哪些網址。
付錢沒有用。Google 表示,它不會因為收費而更頻繁地檢索某個網站。
小企業需要擔心「檢索預算」(crawl budget),也就是 Google 檢索量的上限嗎?通常不需要。Google 的檢索預算指南是寫給超過 100 萬個網頁且每週更新的網站,或超過 1 萬個網頁且每天更新的網站的。對其他網站,它表示保持 Sitemap 更新、查看網頁索引報告就夠了(Google Search Central: Crawl budget management for large sites)。快速的伺服器仍然對訪客有好處,但一個 30 頁的網站不會用完檢索額度。
什麼是轉譯?為什麼 JavaScript 很重要?
轉譯就是 Google 像瀏覽器一樣執行您頁面的程式碼。很多網站用 JavaScript 產生文字,也就是在頁面載入後再填入內容的程式碼。Google 用較新版本的 Chrome 進行轉譯,以便看到這些文字;如果不轉譯,它「might not see that content」(可能看不到這些內容)(Google Search Central: How Google Search works)。
轉譯可能會延遲。Google 的 JavaScript 指南表示,網頁會在轉譯佇列中等待,有時幾秒,有時更久,而且它很難告訴您某個網頁是在等待檢索還是等待轉譯。它仍然建議由伺服器直接傳送完整的 HTML,因為「not all bots can run JavaScript」(並非所有機器人都能執行 JavaScript)(Google Search Central: Understand JavaScript SEO basics)。
這裡有兩項檢查很重要:
- 連結必須是真正的連結。 Google 表示,一般只有標準 HTML 連結(帶 href 網址的 a 元素)才能被檢索。用指令碼帶走訪客的按鈕,對 Googlebot 來說可能是死路(Google Search Central: Link best practices)。
- 以手機版為準。 Google 使用網站內容的行動版進行索引和排名,這叫行動裝置優先索引(mobile-first indexing)(Google Search Central: Mobile site and mobile-first indexing)。您在手機上隱藏的文字,Google 可能永遠讀不到。
Wix、Squarespace 和 Shopify 等架站工具預設使用標準連結和手機版面。轉譯問題往往藏在客製開發的網站裡。請看 架站平台與 SEO。
索引是什麼意思?
索引的意思是 Google 讀取了網頁、理解了它,並把它存進 Google 索引,也就是有人輸入搜尋字詞時它要查找的一個巨大資料庫。Google 會查看文字、網頁標題、圖片說明(alt 文字)、圖片和影片。
它還會把幾乎相同的網頁歸為一組,保留其中一個作為主要版本,稱為標準網頁(canonical)。其他的是替代版本。接著 Google 會記錄主要版本的一些信號,例如語言、鎖定的國家以及易用程度(Google Search Central: How Google Search works)。
索引不是自動的:
"Indexing isn't guaranteed; not every page that Google processes will be indexed." (Google Search Central: How Google Search works) 譯文:「索引無法保證;並非 Google 處理過的每個網頁都會被編入索引。」
Google 列出了三個常見原因:內容品質低、robots meta 標記要求不編入索引,以及網站設計讓索引變得困難。
重複網頁不會招致懲罰。Google 表示,網站上有一些重複內容「is normal and it's not a violation of Google's spam policies」(是正常的,並不違反 Google 的垃圾內容政策)(Google Search Central: What is canonicalization)。代價是由 Google 而不是您來選擇顯示哪個版本。用標準網址標記(canonical tag)或重新導向告訴它您的選擇。
如何讓網頁不出現在 Google 上:robots.txt 還是 noindex?
用 noindex。在 robots.txt 中封鎖網頁只能阻止檢索,不能阻止索引:
"it is not a mechanism for keeping a web page out of Google" (Google Search Central: Introduction to robots.txt) 譯文:「它不是讓網頁不出現在 Google 上的機制」
被封鎖的網頁仍可能出現在搜尋結果中,只是下面沒有說明。而且如果您在 robots.txt 中封鎖了網頁又加上 noindex,Google 永遠看不到這個 noindex,因為它無法檢索該網頁來讀取它(Google Search Central: Block Search indexing with noindex)。關於 AI 爬蟲,請看 用 robots.txt 封鎖 AI 爬蟲。
如何在自己的網站上檢查每個階段?
使用 Google Search Console,這是 Google 免費的網站報告工具。以下是每個階段在哪裡查看。
| 階段 | 檢查什麼 | 在哪裡 |
|---|---|---|
| 發現 | Sitemap 已提交並被讀取 | Search Console 的 Sitemap 報告 |
| 檢索 | 沒有 robots.txt 規則封鎖該網頁;上次檢索日期 | Search Console 的網址審查工具 |
| 轉譯 | 測試的網頁顯示了您的文字和連結 | 網址審查工具的即時測試 |
| 索引 | 網頁顯示「已編入索引」,且 Google 選擇的是您的標準網頁 | 網址審查工具;網頁索引報告 |
新增或修改網頁後,您可以在網址審查工具中要求檢索。Google 表示,檢索「can take anywhere from a few days to a few weeks」(可能需要幾天到幾週不等),要求有配額限制,而且重複要求不會讓它更快(Google Search Central: Ask Google to recrawl your URLs)。如果網頁顯示「已檢索」或「已找到 – 目前尚未建立索引」,請看 已檢索或已找到,目前尚未建立索引。要學會看這些報告,請看 小企業如何使用 Search Console。
範例
以下為說明性案例。
一個有 12 個網頁的新園藝造景網站
兩週後首頁被編入索引;五個服務頁面卻沒被找到。選單用的是指令碼按鈕,不是真正的連結,所以 Googlebot 無法跟隨。換成架站工具的標準選單就解決了。業主提交了 Sitemap,並為這五個網頁要求建立索引。
一家有重複網頁的牙科診所
網站上 /cleaning 和 /teeth-cleaning 的文字相同。Search Console 顯示 Google 選擇了 /cleaning。診所把另一個網頁重新導向到它。這裡不涉及任何懲罰;重新導向只是省去了猜測。
一位隱藏測試網站的承包商
開發人員在 robots.txt 中封鎖了網站的測試副本,但它仍然出現在 Google 上,只是沒有說明。解決辦法是幫測試網站加上密碼,這樣人和 Google 都進不去。
常見問題
檢索和索引是同一回事嗎?
不是。檢索是 Google 下載網頁。索引是 Google 決定儲存它。網頁可能被檢索了,卻仍未被編入索引。
網頁需要反向連結才能被編入索引嗎?
不需要。Google 也會透過您自己的連結和 Sitemap 找到網頁。其他網站的連結能幫助全新的網站更快被發現。
我能付錢讓 Google 更快索引我的網站嗎?
不能。Google 表示,它不會因為收費而更頻繁地檢索某個網站,也不會因此提高它的排名。
Google 的行動裝置相容性測試還能用嗎?
不能。Google 已於 2023 年 12 月 1 日停用行動裝置相容性測試(Mobile-Friendly Test)和行動裝置可用性報告(Google Search Central Blog)。網址審查工具的即時測試仍能顯示 Googlebot 看到的網頁。
您的情況不同?
- 您的整個網站都不在 Google 上:網站在 Google 上搜不到。
- Search Console 顯示「目前尚未建立索引」:已檢索或已找到,目前尚未建立索引。
- 新網站上線後流量下降:改版後流量下降。
- 您正在選擇架站平台:SEO 選 Wix、Squarespace 還是 WordPress。
- 您希望有人代您完成技術檢查:SEO 與 GEO 代理。