產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

檢索效率:別讓 Google 把檢索浪費在垃圾網址上

更新於 · 閱讀約 7 分鐘

簡短回答 檢索效率是指 Googlebot 的時間有多少花在您希望出現在搜尋中的網頁上,而不是重複或無用的網址上。它影響網頁建立索引的速度,而不是瀏覽人數:Google 表示檢索不是排名信號。網頁少於約 1,000 個時,Google 說您不必擔心。有篩選功能的大型網站應封鎖這些垃圾網址。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

檢索效率能提高網頁瀏覽量嗎?

不能直接提高。檢索是 Google 的機器人 Googlebot 擷取您的網頁。網頁必須先被檢索,才能建立索引(被儲存並有資格出現在搜尋結果中),但被檢索得更多並不會讓它排名更前面。Google 的「迷思」頁面說得很直接:

"Improving your crawl rate won't necessarily lead to better positions in Google Search results. Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google Crawling Infrastructure: Myths and facts about crawling) 譯文:「提高檢索頻率不一定會讓您在 Google 搜尋結果中的排名更好。Google 使用許多信號為結果排名,雖然網頁要出現在搜尋結果中必須先被檢索,但檢索並不是排名信號。」

更好的檢索能做到的是:讓新網頁和修改過的網頁更快進入 Google,並讓 Google 檢索到之前一直沒去檢索的網頁。瀏覽量在這之後才來,取決於排名以及搜尋者是否選擇點擊您的結果。

我的網站需要擔心檢索預算嗎?

檢索預算是 Google 能夠並且願意在您網站上檢索的網址集合。對大多數小型企業網站來說,這不是問題。Google 的「檢索統計資料」說明頁面寫道:

"If you have a site with fewer than a thousand pages, you should not need to use this report or worry about this level of crawling detail." (Search Console Help: Crawl Stats report) 譯文:「如果您的網站少於一千個網頁,您應該不需要使用這份報表,也不必擔心這種程度的檢索細節。」

Google 的檢索預算指南是為三類網站寫的。Google 稱這些數字是粗略估計,不是精確門檻。

您的網站需要改善檢索效率嗎?
少於約 1,000 個網頁,新網頁幾天內就被檢索不需要。保持 Sitemap 最新,修正看到的錯誤即可
100 萬個以上網頁,大約每週更新需要,Google 的指南就是為您寫的
1 萬個以上網頁,每天更新(物件刊登、庫存、活動)需要
Search Console 中大量網址顯示「Discovered - currently not indexed」(已發現 - 目前尚未建立索引)需要,先檢查有沒有垃圾網址

Google 也說,如果您的網頁「seem to be crawled the same day that they are published, you don't need to read this guide」(似乎在發布當天就被檢索,您就不需要閱讀本指南)(Google Crawling Infrastructure: Optimize your crawl budget)。不過,小網站也可能產生成千上萬個垃圾網址。一家有顏色、尺寸和價格篩選的網路商店,或一個活動行事曆,可能把 50 個真實網頁變成 50,000 個網址。

哪些網址在浪費檢索?

顯示的內容與另一個網頁相同或幾乎相同的網址。Google 表示,您最能掌控的因素是您的「perceived inventory」(感知到的網址庫存):沒有引導時,Google 會嘗試檢索它知道的大部分網址,而重複網址會浪費「a lot of Google crawling time」(大量 Google 檢索時間)(Google Crawling Infrastructure: Optimize your crawl budget)。

網址類型樣子解決方法
篩選(多面向導覽,即「依條件篩選」選單)`/shop?color=red&size=m`在 robots.txt 中封鎖;如果希望它們建立索引,就保持篩選網址整齊
排序`/shop?sort=price`在 robots.txt 中封鎖
廣告和追蹤參數`/page?gclid=ABCD`用標準標記指向乾淨的網頁
工作階段 ID`/page?sessionid=6EE2`把工作階段存在 Cookie 裡,而不是網址裡
網站自己的站內搜尋結果`/?s=roof+repair`在 robots.txt 中封鎖
沒有盡頭的行事曆`/events?month=8&year=2041`為未來日期的連結加上 nofollow,或封鎖
已移除但仍回傳「200 OK」的網頁(軟性 404)正常網頁上顯示「找不到」回傳真正的 404 或 410 狀態碼
重新導向鏈A 頁導向 B 再導向 C讓 A 直接重新導向到 C

範例和解決方法來自 Google 關於網址結構、多面向導覽、標準網址和檢索預算的頁面。Google 稱篩選網址是「infinite URL spaces」(無限網址空間)的來源,會造成過度檢索,並讓新網頁更慢被發現(Google Crawling Infrastructure: Improve crawling of faceted navigation URLs)。

如何阻止 Google 檢索垃圾網址?

依以下順序處理。除非另有說明,每一步都來自 Google 的檢索預算指南。

  1. 合併真正的重複網頁。 Google 依強弱為信號排序:重新導向和 `rel="canonical"` 標記(網頁程式碼中註明主要版本的一行)是強信號;列在 Sitemap 中是弱信號。兩者一起用,能提高 Google 選中您指定版本的機會(Google Search Central: How to specify a canonical URL)。
  2. 在 robots.txt 中封鎖您永遠不想被檢索的網址。 robots.txt 是位於 `yourdomain.com/robots.txt` 的文字檔,告訴檢索器哪裡不要去。Google 自己的範例用 `disallow: /*?*color=` 這樣的指令封鎖篩選參數,同時仍允許一個未篩選的「顯示全部」網頁。
  3. 已移除的網頁回傳 404 或 410。 Google 稱 404 是「a strong signal not to crawl that URL again」(不要再檢索該網址的強烈信號)。對於沒有結果的篩選組合,Google 建議在該網址上回傳 404,而不是重新導向到一般的錯誤頁面。
  4. 修正軟性 404 和過長的重新導向鏈。 兩者都會被反覆檢索。
  5. 保持 Sitemap 最新,為會變動的網頁加上最後修改日期(lastmod)。
  6. 保持伺服器快速穩定。 回應一直很快時,Google 會提高檢索上限;遇到變慢、伺服器錯誤(5xx 狀態碼)或「要求過多」(429)時會降低上限。

Google 提出兩種整體增加檢索預算的方法:如果 Google 已經碰到伺服器上限,就增加伺服器容量;以及提供 Google 認為受歡迎、實用且獨特的內容(Google Crawling Infrastructure: Optimize your crawl budget)。

robots.txt、noindex 還是標準標記:用哪個?

它們的作用不同。

目標用什麼原因
不讓 Google 在某個網址上花檢索robots.txtGoogle 根本不會擷取它
不讓網頁出現在搜尋結果中noindex 標記robots.txt「is not a mechanism for keeping a web page out of Google」(不是讓網頁不出現在 Google 中的機制)(Introduction to robots.txt)
把多個副本指向一個主要網頁重新導向或標準標記把連結和信號合併到一個網址

兩個陷阱:

  • noindex 不能節省檢索。 Google 仍會要求該網頁,看到標記後再捨棄,「wasting crawling time」(浪費檢索時間)(Google Crawling Infrastructure: Optimize your crawl budget)。
  • 不要封鎖已標記 noindex 的網頁。
"For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler." (Google Search Central: Block Search indexing with noindex) 譯文:「要讓 noindex 規則生效,該網頁或資源不能被 robots.txt 檔案封鎖,而且檢索器必須能夠正常存取它。」

如果其他網站連結到被封鎖的網址,它仍可能出現在搜尋結果中,只顯示網址(Introduction to robots.txt)。

哪些不會浪費檢索預算

  • 404 和其他 4xx 錯誤不會,429 除外。Google 只得到一個狀態碼,沒有內容(Myths and facts about crawling)。
  • robots.txt 中的 crawl-delay 對 Google 無效:它的檢索器不處理這條規則(同一頁面)。
  • 連結上的 nofollow 只有在指向該網址的所有連結(無論在您的網站上或網路上)都帶有它時才有用(同一頁面)。
  • Search Console 的「網址參數」工具已經不存在。Google 宣布它將在 2022 年 3 月 28 日的一個月後移除,並表示其檢索器「will learn how to deal with URL parameters automatically」(會自動學會如何處理網址參數)(Google Search Central Blog)。
  • 用 robots.txt 把預算轉給其他網頁。 除非 Google 已經碰到您伺服器的上限,否則它不會轉移空出來的預算(Optimize your crawl budget)。

如何查看 Google 怎麼檢索我的網站?

開啟「檢索統計資料」報表:在 Search Console 中依序進入「設定」和「檢索統計資料」。它顯示 Google 發出多少要求、在什麼時候、您的伺服器如何回應,以及任何可用性問題。它只適用於網域資源或根層級網址資源,並且會把重新導向鏈的每一步算作一次個別要求(Search Console Help: Crawl Stats report)。

接著在「網頁索引」報表中查看「Discovered - currently not indexed」(已發現 - 目前尚未建立索引)。每種狀態的意思見已檢索或已發現,目前尚未建立索引。其他報表的介紹見小型企業如何使用 Google Search Console。

範例

以下為說明用的案例,數字是虛構的。

一家有 35 個網頁的屋頂公司

新網頁幾天內就出現在 Google 中。什麼都不用做。

一家有 400 種商品的居家裝飾店(加幣)

顏色、尺寸、材質和價格(每 25 加幣一級)篩選產生了 60,000 多個網址,新商品要好幾週才出現。店主在 robots.txt 中封鎖篩選和排序參數,每個類別保留一個「所有商品」網頁,Sitemap 中只列商品頁和類別頁。

一家有活動行事曆的婚禮場地(美元)

行事曆無止盡地連結到未來每個月份,「檢索統計資料」顯示大部分要求都花在空的月份上。開發人員為未來月份的連結加上 nofollow,並對沒有活動的月份回傳 404。1,200 美元方案的網頁幾天內就重新被檢索。

常見問題

檢索頻率是 Google 的排名因素嗎?

不是。Google 表示,出現在搜尋結果中需要先被檢索,但「it's not a ranking signal」(它不是排名信號)(Myths and facts about crawling)。

網頁速度會影響檢索嗎?

會。載入和轉譯更快,Google 就能檢索更多;大量伺服器錯誤會讓它放慢。Google 補充說,對訪客而言速度更重要(Myths and facts about crawling)。請參閱Core Web Vitals(網站使用體驗核心指標)。

子網域共用一個檢索預算嗎?

不共用。Google 把每個主機名稱當作獨立網站,所以 `www.example.com` 和 `shop.example.com` 的預算是分開的(Optimize your crawl budget)。

我應該封鎖 AI 檢索器來節省檢索預算嗎?

它們不占用 Google 的預算。但您的伺服器變慢時,Google 會減少檢索,所以大量機器人流量仍可能造成影響。請參閱用 robots.txt 封鎖 AI 檢索器。

您的情況不同?

繼續閱讀

下一篇網站在 Google 上搜不到:依序逐項檢查在 Google 上找不到您的網站?依序檢查:site: 搜尋、網址審查、noindex 與架站平台設定、新網站的等待時間,以及地圖與搜尋的差別。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Crawling Infrastructure: Optimize your crawl budget
  2. Google Crawling Infrastructure: Myths and facts about crawling
  3. Google Crawling Infrastructure: Improve crawling of faceted navigation URLs
  4. Google Search Central: URL structure best practices
  5. Google Search Central: How to specify a canonical URL
  6. Google Search Central: Introduction to robots.txt
  7. Google Search Central: Block Search indexing with noindex
  8. Search Console Help: Crawl Stats report
  9. Google Search Central Blog: Spring cleaning, the URL Parameters tool (March 28, 2022)