產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

大型網站的檢索預算最佳化:減少浪費的檢索

更新於 · 閱讀約 8 分鐘

簡短回答 調出 30 天的伺服器記錄檔,只保留經過驗證的 Googlebot 請求,再依網址模式和狀態碼分組。凡是請求了您不想出現在 Google 裡的網址,都是浪費。常見原因是篩選、排序選項、重新導向鏈、軟 404 和伺服器錯誤。封鎖、合併或修正它們,下個月再重新統計。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

您的網站需要最佳化檢索預算嗎?

只有網站很大或更新很快時才需要。Google 的檢索預算指南針對的是:約 100 萬個不重複網頁且每週更新的網站、1 萬個以上網頁且每天更新的網站,以及 Search Console 把大量網址列為「Discovered - currently not indexed」(已發現 - 目前尚未建立索引)的網站。Google 說這些數字只是粗略估計,不是硬性門檻。

"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Crawling Infrastructure: Optimize your crawl budget) 譯文:「如果您的網站沒有大量快速變動的網頁,或者您的網頁似乎在發布當天就被檢索,您就不需要閱讀本指南。」

例如房源和商品清單網站、大型網路商店、目錄網站、有幾千個網頁的多據點品牌,以及新聞出版網站。一個 40 頁的服務型網站完全不需要這些。如果它的網頁沒出現在 Google 中,請看已檢索或已發現,目前尚未建立索引。

檢索預算是指 Google 能夠並且願意從一個主機名稱檢索的網址集合。Google 說您最能掌控的部分是「感知庫存」(perceived inventory):Google 知道的所有網址。如果其中很多是重複或無用的網頁,Google 就會把造訪花在那裡,而不是您的新網頁上。

怎麼在伺服器記錄檔裡找到浪費的檢索?

統計 Googlebot 實際去了哪裡,再和您希望它去的地方比較。分五步:

  1. 取得記錄檔。 向您的主機商、CDN 或開發人員索取 30 天的原始存取記錄檔。每一行記錄一次請求:時間、位址、網址、狀態碼和使用者代理程式(造訪者替自己取的名字)。
  2. 只保留真正的 Googlebot。 誰都可以把自己的機器人叫「Googlebot」。Google 的驗證指南說:對發出請求的 IP 位址做反向 DNS 查詢,確認名稱以 googlebot.com、google.com 或 googleusercontent.com 結尾,再對這個名稱做一次正向查詢,確認傳回的是同一個 IP。記錄檔很大時,把 IP 和 Google 以 JSON 檔公布的 Googlebot IP 範圍比對。
  3. 依網址模式和狀態碼分組。 不要一個網址一個網址地看。把每個網址簡化成模式(`/listings/?sort=`、`/events/2031-`、`/product/*`),依模式和狀態碼(200、301、404、5xx)統計請求數。
  4. 和您希望進入 Google 的網頁比較。 您的 Sitemap 就是這份清單。凡是請求了清單以外的網址,或請求了重新導向或錯誤網頁,都算浪費。浪費占比 = 浪費的請求 ÷ 全部 Googlebot 請求。
  5. 檢查新網頁被發現的速度。 對上個月發布的網頁,在記錄檔裡找到 Googlebot 第一次請求它的時間。從發布到首次檢索的天數,就是檢索預算工作應該縮短的數字。

記錄檔小的話,用試算表就能處理。幾百萬行的記錄檔需要記錄檔分析工具,或請開發人員寫個指令碼。

哪些網址模式浪費的檢索最多?

下面是 Google 自己的網頁點名的模式,以及它們在記錄檔裡的樣子:

記錄檔裡看到的它是什麼修正方法
幾千個帶 `?color=`、`?size=`、`?price=` 的網址篩選(多面向導覽)為每種組合產生一個網址在 robots.txt 中封鎖篩選參數;保留商品頁和一個未篩選的清單
同一網頁帶 `?sort=` 或工作階段 ID同一網頁的重複副本合併成一個網址;做不到就在 robots.txt 中封鎖
好幾年後的日期,如 `/calendar/2031-04-12`每天一個網頁的行事曆在 robots.txt 中封鎖日期模式
沒有結果的篩選頁傳回 200軟 404傳回真正的 404 狀態碼
301 到 301 再到 200重新導向鏈,每一次跳轉都是一次單獨請求連結和重新導向直接指向最終網址
成批出現 5xx 或 429,或回應很慢伺服器跟不上,Google 會降低整個主機名稱的檢索上限加快回應速度或增加伺服器容量
同樣沒變的網頁每天被檢索,全是 200沒有快取信號支援 304「未修改」回應
帶 noindex 標記的網頁經常被檢索Google 必須檢索網頁才能看到這個標記如果它們永遠不需要檢索,就在 robots.txt 中封鎖

關於篩選,Google 的多面向導覽指南說得很直接:

"Oftentimes there's no good reason to allow crawling of filtered items, as it consumes server resources for no or negligible benefit." (Google Crawling Infrastructure: Managing crawling of faceted navigation URLs) 譯文:「通常沒有充分理由允許檢索篩選後的項目,因為這會消耗伺服器資源,卻沒有或幾乎沒有好處。」

404 不用管。Google 說傳回 4xx 狀態碼的網頁(429 除外)不會浪費檢索預算,因為 Google 只拿到狀態碼,沒有內容。根據同一個迷思網頁,CSS、JavaScript 和替代網址(hreflang 語言版本)則會計入。

拿不到記錄檔?用檢索統計資料報表

Search Console 的檢索統計資料報表(設定,然後點檢索統計資料)從 Google 一側提供摘要。它依回應代碼、檔案類型、檢索目的和 Googlebot 類型拆分請求,每類都有範例網址。需要知道的限制:

  • 它只適用於根層級資源,例如網域資源。
  • Google 說範例網址「not comprehensive」(並不完整),有些請求可能沒有計入,所以總數可能和您的記錄檔不同。
  • 每一次重新導向跳轉都算一次單獨請求,因此很容易發現重新導向鏈。
  • 「Discovery」(探索)指 Google 從未檢索過的網址;「Refresh」(重新整理)是重新檢索。Google 說在您新增大量網頁或 Sitemap 後,應該會看到探索檢索增加。
  • 「AdsBot」突然暴增,通常代表新增了很多動態搜尋廣告(Dynamic Search Ads)的目標網址。Google 說 AdsBot 大約每兩週檢索一次這些網址。

這份報表有用,但它無法告訴您哪些網址模式占用了造訪。只有記錄檔能做到。

哪些檢索預算的做法沒用?

根據 Google 自己的網頁,幾種常見做法對 Google 毫無作用:

做法為什麼沒用
加 noindex 來節省檢索Google 仍然要檢索網頁才能讀到這個標記
暫時在 robots.txt 中封鎖網頁,好讓 Google 去檢索別處除非您的伺服器已經到了上限,否則 Google 不會轉移這部分預算
robots.txt 中的 crawl-delayGoogle 的檢索器不處理它
壓縮 SitemapGoogle 仍然要檢索它們
沒有實際修改卻更改網頁日期沒有增加價值;Google 依品質而不是新舊評估內容
內部連結加 nofollow只要還有其他連結指向這個網址,它仍會被檢索

檢索也不是排名因素。Google 說網頁必須被檢索才能出現,但檢索更多並不會提升排名。好處是新網頁和修改過的網頁能更快進入 Google。

如果 Googlebot 檢索得太多怎麼辦?

先在記錄檔裡找到原因:Google 的檢索頻率指南說,突然暴增通常來自篩選、日期行事曆或動態搜尋廣告的目標網址。對於持續幾小時或一兩天的緊急狀況,Google 說可以對檢索請求傳回 500、503 或 429 狀態碼。Google 隨後會降低整個主機名稱的檢索速度,錯誤停止後再恢復。

"We don't recommend that you do this for a long period of time (meaning, longer than 1-2 days) as it may have a negative effect on how your site appears in Google products." (Google Crawling Infrastructure: Reduce the Google crawl rate) 譯文:「我們不建議長時間這樣做(即超過 1–2 天),因為這可能會對您的網站在 Google 產品中的顯示方式造成負面影響。」

如果您沒辦法傳回錯誤,Google 提供了一份表單,用來回報異常高的檢索頻率。沒有辦法申請更多檢索。

怎麼知道修正有效?

一個月後用同樣的方法重新統計。應該有三個數字變化:

  • 浪費占比下降。
  • 新網頁從發布到首次檢索的天數下降。
  • 檢索統計資料中的伺服器錯誤維持在低點,主機狀態維持綠色。

Googlebot 的總請求數可能會減少。只要剩下的請求都去了您希望被發現的網頁,這就沒問題。

範例

以下為示意案例,數字為虛構。

一個房地產房源網站(美元)

網站有 60,000 筆待售房源。記錄檔顯示 30 天內有 120 萬次 Googlebot 請求,其中 70 萬次落在 `?sort=` 和地圖檢視網址上。新房源要等 9 天才被首次檢索。開發人員花了約 $1,500,在 robots.txt 中封鎖了這兩種模式。下個月,浪費占比從 58% 降到 15%,新房源在 2 天內就被檢索。

一家網路輪胎店(加幣)

一家有 8,000 件商品的店,40% 的網址顯示「Discovered - currently not indexed」(已發現 - 目前尚未建立索引)。記錄檔顯示,大量篩選頁對應的是店裡沒有的尺寸,全都傳回 200 和「沒有結果」。讓空組合傳回 404 的開發費用約為 C$900。這些網址不再被檢索,商品頁被檢索得更頻繁。

一個有 2,000 個據點網頁的連鎖品牌

每個據點網頁都連到一個活動行事曆,為直到 2035 年的每一天都產生了一個網頁。Googlebot 三分之一的請求花在那裡。在 robots.txt 中加一行封鎖未來日期,就把這些造訪騰給了據點網頁。

常見問題

我需要多少天的記錄檔?

30 天是比較實用的最低限度:它涵蓋每週的規律,也能顯示一個月內新網頁從發布到首次檢索的延遲。流量大的網站看一週的記錄檔就能發現很多問題。

記錄檔裡的每個「Googlebot」都真的是 Google 嗎?

不是。擷取別人內容的爬蟲會冒用這個名字。Google 的指南說,要用反向和正向 DNS 查詢確認,或把 IP 和 Google 公布的 IP 範圍比對。

我應該封鎖 CSS 和 JavaScript 來節省檢索預算嗎?

不應該。Google 需要這些檔案來轉譯網頁,然後才能建立索引。它的檢索統計資料說明頁面提醒,不要封鎖 Google 理解內容所需的資源。

子網域共用一個檢索預算嗎?

不共用。Google 把每個主機名稱當作一個獨立網站,所以 `www.example.com` 和 `shop.example.com` 各有各的預算。

更好的連結會增加我的檢索預算嗎?

間接會。Google 說越熱門的網址被檢索得越頻繁。它提到取得更多預算的兩種方式是:增加伺服器容量,以及提高內容品質。

您的情況不同?

繼續閱讀

下一篇新網站 SEO:讓新網站被建立索引並獲得排名全新網站的 SEO,按週安排:上線前的檢查、通知 Google 和 Bing、要建立哪些網頁,以及第三到第六個月該看什麼。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Crawling Infrastructure: Optimize your crawl budget
  2. Google Crawling Infrastructure: Verify requests from Google crawlers and fetchers
  3. Google Crawling Infrastructure: Managing crawling of faceted navigation URLs
  4. Google Crawling Infrastructure: Myths and facts about crawling
  5. Google Crawling Infrastructure: Reduce the Google crawl rate
  6. Search Console Help: Crawl Stats report