檢索預算:小網站需要擔心嗎?
簡短回答 幾乎從不需要。Google 表示,它的檢索預算指南針對的是約 100 萬個網頁且每週變動的網站,或 1 萬個網頁且每天變動的網站。只有幾十或幾百個網頁的服務業網站會被完整檢索。如果某個網頁沒出現在 Google 上,先檢查內容品質、重複網頁或是否被封鎖,而不是檢索預算。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話小網站需要擔心檢索預算嗎?
不需要。Google 的檢索預算指南一開頭就請大多數網站略過它:
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Crawling Infrastructure: Optimize your crawl budget) 譯文:「如果您的網站沒有大量快速變動的網頁,或者您的網頁似乎在發布當天就被檢索,您就不需要閱讀本指南。」
對其他網站,Google 表示保持 Sitemap 最新,並定期查看 Search Console 中的「網頁索引」報表,就「adequate」(足夠了)。指南寫明了它的對象,並說這些數字只是粗略估計,不是精確界線。中間一列是我們的解讀,Google 沒有給出那裡的數字:
| 您的網站 | 檢索預算重要嗎? |
|---|---|
| 少於 1,000 個網頁(大多數服務業、診所、事務所) | 不重要 |
| 1,000 到 10,000 個網頁,偶爾變動 | 很少重要 |
| 10,000 個以上網頁,每天變動(房源、分類廣告、大型網店) | 重要 |
| 100 萬個以上網頁,每週變動 | 重要 |
| 大量網址卡在「已找到 - 目前尚未建立索引」 | 需要檢查 |
Google 的 Search Console 說明對「檢索統計資料」報表也是同樣的說法:「with fewer than a thousand pages」(少於一千個網頁)的網站應該用不到它。
什麼是檢索預算?
就是 Google 能夠、也願意從您的網站檢索多少網頁。Google 無法檢索整個網路,所以會為每個網站分配時間。決定您份額的有兩件事:
- 檢索容量上限: Google 能在不拖慢您伺服器的前提下檢索多快。每個網站都從同樣謹慎的程度開始。如果您的伺服器回應快且沒有錯誤,上限會提高;如果變慢或回傳錯誤,Google 就會放慢。
- 檢索需求: Google 有多想要您的網頁。Google 表示這取決於熱門程度、網頁變動頻率,以及它知道您網站上有多少網址。
Google 把每個主機名稱當作一個獨立網站。所以 `www.example.com` 和 `shop.example.com` 各有各的預算。
檢索不等於建立索引。Google 先檢索網頁(下載它),再決定是否把它留在搜尋結果中。一個網頁可能檢索正常,卻仍然沒被收錄。這個問題請看已檢索或已找到,但目前尚未建立索引。
檢索預算什麼時候重要?
當一個網站產生的網址遠多於真正的網頁時。Google 關於檢索頻率的指南列出了常見原因:
- 每種組合都產生一個新網址的篩選和排序選項(「多面向導覽」,在網店上很常見)
- 每個日期都有一個網頁的行事曆
- 無限捲動,或重複其他地方內容的搜尋結果頁
一家有幾百件商品、幾種篩選條件的網店,暴露出的網址可能遠多於商品數量。Google 可能把時間花在篩選頁上,很晚才檢索到新商品。出現這個問題的跡象:
- Search Console 顯示很大比例的網頁是「已找到 - 目前尚未建立索引」。
- 新網頁要幾週才被檢索,而不是幾天。
- Search Console 的網址審查回報「Hostload exceeded」(超出主機負載),Google 表示這代表限制因素是您的伺服器,而不是您的內容。
檢索預算會影響排名嗎?
不會。Google 直接回答了這個問題:
"Improving your crawl rate won't necessarily lead to better positions in Google Search results. Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google Crawling Infrastructure: Myths and facts about crawling) 譯文:「提高檢索頻率不一定會讓您在 Google 搜尋結果中的排名更好。Google 使用許多信號為結果排名;雖然網頁必須被檢索才能出現在搜尋結果中,但檢索並不是排名信號。」
網頁必須被檢索一次才能出現。之後,檢索更多次也不會讓它排得更前面。網站規模也不決定檢索頻率:Google 表示,內容重要且經常變動的網頁會被經常檢索,「regardless of the size」(無論網站規模大小)。
小網站上什麼會讓 Google 變慢?
是伺服器問題,而不是網頁數量。Google 自己的網頁列出了會讓它減少檢索的問題:
| 問題 | Google 的做法 |
|---|---|
| 伺服器回應慢 | 減少檢索 |
| 大量伺服器錯誤(5xx)或「要求過多」(429) | 對整個主機名稱減少檢索,直到錯誤減少 |
| 無法取得 robots.txt(伺服器錯誤) | 前 12 小時停止檢索,之後最多 30 天使用最後一份正常的副本 |
| 同一網址連續幾天出錯 | 可能把該網址從索引中移除 |
| 很長的重新導向鏈 | Google 表示會影響檢索 |
沒有 robots.txt 沒關係。Google 把「找不到檔案」(404)視為沒有規則,所以會檢索全部內容。危險的是 robots.txt 網址逾時或出錯,一些便宜的主機在停機時就會這樣。如果不確定,請您的主機商或網站負責人檢查這個檔案能否開啟。
怎麼查看 Google 檢索我網站的頻率?
開啟 Search Console,進入「設定」,再點「檢索統計資料」。它會顯示每天的要求數、平均回應時間,以及 Google 是否遇到錯誤。對小網站來說,有用的部分是主機狀態:綠色表示 Google 順利存取了您的 robots.txt、DNS(把您的網域指向伺服器的系統)和伺服器。
兩個更快的檢查就能回答店家的大多數問題:
- 某個網頁被檢索了嗎? 把它的網址貼到網址審查工具中,會顯示最後檢索日期。
- 有網頁不見了嗎? 開啟「網頁索引」報表,看原因。請看小型企業如何使用 Google Search Console。
大網站如何解決檢索預算問題
如果您屬於上表中「重要」的幾列,以下是 Google 的建議,用白話說:
| 做法 | 原因 |
|---|---|
| 把重複網頁合併成一個 | Google 依網址檢索,副本越少,花在真正網頁上的時間越多 |
| 在 robots.txt 中封鎖無限多的篩選或排序網址 | 完全停止這些檢索 |
| 對永久刪除的網頁回傳 404 或 410 | Google 表示 404 是「a strong signal not to crawl that URL again」(不要再檢索該網址的強烈信號) |
| 修正「軟 404」(內容空白卻以正常網頁回應的網頁) | Google 會一直檢索它們 |
| 保持 Sitemap 最新,並附上最後修改日期 | 引導 Google 找到新網頁和更新過的網頁 |
| 提升伺服器速度,並支援 304「未修改」回應 | 讓 Google 略過沒有變動的網頁 |
三個陷阱。第一,`noindex` 不能節省檢索:Google 仍要檢索網頁才能讀到這個標記。用它讓網頁不出現在結果中,而不是用來省預算。第二,暫時在 robots.txt 中封鎖一些網頁,並不會讓 Google 轉去檢索其他網頁。Google 表示,除非您的伺服器已經達到上限,否則不會轉移這部分空出的預算。第三,不要封鎖您希望出現在 Google 上的網頁,也不要封鎖 Google 理解網頁所需的指令碼和樣式。
您無法要求 Google 多檢索。Google 表示,取得更多預算的兩個辦法是更強的伺服器,以及更有用、獨特的內容。
範例
以下為說明用案例,數字為虛構。
一家有 40 個網頁的水電工
網站有首頁、12 個服務頁、20 個地區頁和幾篇文章。Search Console 顯示 Google 每天檢索約 50 個網址。檢索預算沒有問題。有三個地區頁顯示「已檢索 - 目前尚未建立索引」,因為它們內容互相重複。這是內容問題,不是檢索問題。
一家有篩選功能的網店(加幣)
一家家具店販售 2,000 件商品。顏色、尺寸和價格篩選產生了超過 100,000 個網址。新沙發要一個月才出現在 Google 上。在 robots.txt 中封鎖篩選網址,每個類別只保留一個網頁後,新商品幾天內就能被收錄。開發人員為這項修改收費約 C$800。
一家網站週末停機的診所
主機從週五晚上到週日一直停機。Google 放慢了檢索,伺服器恢復正常回應後又恢復了檢索。排名在一週內回來了。除了主機,沒有什麼需要修正。
常見問題
重要網頁應該在離首頁三次點擊之內嗎?
這有助於訪客和檢索器找到它們。Google 表示,從首頁連結的網頁可能會被更頻繁地檢索,但這「doesn't mean that these pages will be ranked more highly」(並不代表這些網頁會排得更高)。
可以在 robots.txt 中用 crawl-delay 控制 Google 嗎?
不可以。Google 表示它的檢索器不處理「crawl-delay」規則。
404 網頁會浪費檢索預算嗎?
不會。Google 表示,回傳 4xx 狀態碼(429 除外)的網頁不會浪費檢索預算,因為 Google 得到的是狀態碼,沒有內容。
更新網頁日期會讓 Google 檢索得更多嗎?
Google 表示,細微修改和新日期沒有任何作用:內容依品質評斷,與新舊無關。事實有變動時再更新網頁。
小網站需要 Sitemap 嗎?
不一定。Google 表示,「about 500 pages or fewer」(約 500 個網頁或更少)且網頁之間連結良好的網站可能不需要。不過加上它免費又快速。
您的情況不同?
- 網頁顯示「已找到」或「已檢索 - 目前尚未建立索引」:已檢索或已找到,但目前尚未建立索引。
- 您的網站根本不在 Google 上:網站在 Google 上搜尋不到。
- 您經營有篩選功能的網店:電商 SEO。
- 您的伺服器或網站很慢:Core Web Vitals 與網站速度。
- 您也想處理 AI 檢索器:該封鎖 AI 檢索器嗎?。
- 您希望有人替您做技術檢查:SEO 與 GEO 代理。