檢索效率:別讓 Google 把檢索浪費在垃圾網址上
簡短回答 檢索效率是指 Googlebot 的時間有多少花在您希望出現在搜尋中的網頁上,而不是重複或無用的網址上。它影響網頁建立索引的速度,而不是瀏覽人數:Google 表示檢索不是排名信號。網頁少於約 1,000 個時,Google 說您不必擔心。有篩選功能的大型網站應封鎖這些垃圾網址。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話檢索效率能提高網頁瀏覽量嗎?
不能直接提高。檢索是 Google 的機器人 Googlebot 擷取您的網頁。網頁必須先被檢索,才能建立索引(被儲存並有資格出現在搜尋結果中),但被檢索得更多並不會讓它排名更前面。Google 的「迷思」頁面說得很直接:
"Improving your crawl rate won't necessarily lead to better positions in Google Search results. Google uses many signals to rank the results, and while crawling is necessary for a page to be in search results, it's not a ranking signal." (Google Crawling Infrastructure: Myths and facts about crawling) 譯文:「提高檢索頻率不一定會讓您在 Google 搜尋結果中的排名更好。Google 使用許多信號為結果排名,雖然網頁要出現在搜尋結果中必須先被檢索,但檢索並不是排名信號。」
更好的檢索能做到的是:讓新網頁和修改過的網頁更快進入 Google,並讓 Google 檢索到之前一直沒去檢索的網頁。瀏覽量在這之後才來,取決於排名以及搜尋者是否選擇點擊您的結果。
我的網站需要擔心檢索預算嗎?
檢索預算是 Google 能夠並且願意在您網站上檢索的網址集合。對大多數小型企業網站來說,這不是問題。Google 的「檢索統計資料」說明頁面寫道:
"If you have a site with fewer than a thousand pages, you should not need to use this report or worry about this level of crawling detail." (Search Console Help: Crawl Stats report) 譯文:「如果您的網站少於一千個網頁,您應該不需要使用這份報表,也不必擔心這種程度的檢索細節。」
Google 的檢索預算指南是為三類網站寫的。Google 稱這些數字是粗略估計,不是精確門檻。
| 您的網站 | 需要改善檢索效率嗎? |
|---|---|
| 少於約 1,000 個網頁,新網頁幾天內就被檢索 | 不需要。保持 Sitemap 最新,修正看到的錯誤即可 |
| 100 萬個以上網頁,大約每週更新 | 需要,Google 的指南就是為您寫的 |
| 1 萬個以上網頁,每天更新(物件刊登、庫存、活動) | 需要 |
| Search Console 中大量網址顯示「Discovered - currently not indexed」(已發現 - 目前尚未建立索引) | 需要,先檢查有沒有垃圾網址 |
Google 也說,如果您的網頁「seem to be crawled the same day that they are published, you don't need to read this guide」(似乎在發布當天就被檢索,您就不需要閱讀本指南)(Google Crawling Infrastructure: Optimize your crawl budget)。不過,小網站也可能產生成千上萬個垃圾網址。一家有顏色、尺寸和價格篩選的網路商店,或一個活動行事曆,可能把 50 個真實網頁變成 50,000 個網址。
哪些網址在浪費檢索?
顯示的內容與另一個網頁相同或幾乎相同的網址。Google 表示,您最能掌控的因素是您的「perceived inventory」(感知到的網址庫存):沒有引導時,Google 會嘗試檢索它知道的大部分網址,而重複網址會浪費「a lot of Google crawling time」(大量 Google 檢索時間)(Google Crawling Infrastructure: Optimize your crawl budget)。
| 網址類型 | 樣子 | 解決方法 |
|---|---|---|
| 篩選(多面向導覽,即「依條件篩選」選單) | `/shop?color=red&size=m` | 在 robots.txt 中封鎖;如果希望它們建立索引,就保持篩選網址整齊 |
| 排序 | `/shop?sort=price` | 在 robots.txt 中封鎖 |
| 廣告和追蹤參數 | `/page?gclid=ABCD` | 用標準標記指向乾淨的網頁 |
| 工作階段 ID | `/page?sessionid=6EE2` | 把工作階段存在 Cookie 裡,而不是網址裡 |
| 網站自己的站內搜尋結果 | `/?s=roof+repair` | 在 robots.txt 中封鎖 |
| 沒有盡頭的行事曆 | `/events?month=8&year=2041` | 為未來日期的連結加上 nofollow,或封鎖 |
| 已移除但仍回傳「200 OK」的網頁(軟性 404) | 正常網頁上顯示「找不到」 | 回傳真正的 404 或 410 狀態碼 |
| 重新導向鏈 | A 頁導向 B 再導向 C | 讓 A 直接重新導向到 C |
範例和解決方法來自 Google 關於網址結構、多面向導覽、標準網址和檢索預算的頁面。Google 稱篩選網址是「infinite URL spaces」(無限網址空間)的來源,會造成過度檢索,並讓新網頁更慢被發現(Google Crawling Infrastructure: Improve crawling of faceted navigation URLs)。
如何阻止 Google 檢索垃圾網址?
依以下順序處理。除非另有說明,每一步都來自 Google 的檢索預算指南。
- 合併真正的重複網頁。 Google 依強弱為信號排序:重新導向和 `rel="canonical"` 標記(網頁程式碼中註明主要版本的一行)是強信號;列在 Sitemap 中是弱信號。兩者一起用,能提高 Google 選中您指定版本的機會(Google Search Central: How to specify a canonical URL)。
- 在 robots.txt 中封鎖您永遠不想被檢索的網址。 robots.txt 是位於 `yourdomain.com/robots.txt` 的文字檔,告訴檢索器哪裡不要去。Google 自己的範例用 `disallow: /*?*color=` 這樣的指令封鎖篩選參數,同時仍允許一個未篩選的「顯示全部」網頁。
- 已移除的網頁回傳 404 或 410。 Google 稱 404 是「a strong signal not to crawl that URL again」(不要再檢索該網址的強烈信號)。對於沒有結果的篩選組合,Google 建議在該網址上回傳 404,而不是重新導向到一般的錯誤頁面。
- 修正軟性 404 和過長的重新導向鏈。 兩者都會被反覆檢索。
- 保持 Sitemap 最新,為會變動的網頁加上最後修改日期(lastmod)。
- 保持伺服器快速穩定。 回應一直很快時,Google 會提高檢索上限;遇到變慢、伺服器錯誤(5xx 狀態碼)或「要求過多」(429)時會降低上限。
Google 提出兩種整體增加檢索預算的方法:如果 Google 已經碰到伺服器上限,就增加伺服器容量;以及提供 Google 認為受歡迎、實用且獨特的內容(Google Crawling Infrastructure: Optimize your crawl budget)。
robots.txt、noindex 還是標準標記:用哪個?
它們的作用不同。
| 目標 | 用什麼 | 原因 |
|---|---|---|
| 不讓 Google 在某個網址上花檢索 | robots.txt | Google 根本不會擷取它 |
| 不讓網頁出現在搜尋結果中 | noindex 標記 | robots.txt「is not a mechanism for keeping a web page out of Google」(不是讓網頁不出現在 Google 中的機制)(Introduction to robots.txt) |
| 把多個副本指向一個主要網頁 | 重新導向或標準標記 | 把連結和信號合併到一個網址 |
兩個陷阱:
- noindex 不能節省檢索。 Google 仍會要求該網頁,看到標記後再捨棄,「wasting crawling time」(浪費檢索時間)(Google Crawling Infrastructure: Optimize your crawl budget)。
- 不要封鎖已標記 noindex 的網頁。
"For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler." (Google Search Central: Block Search indexing with noindex) 譯文:「要讓 noindex 規則生效,該網頁或資源不能被 robots.txt 檔案封鎖,而且檢索器必須能夠正常存取它。」
如果其他網站連結到被封鎖的網址,它仍可能出現在搜尋結果中,只顯示網址(Introduction to robots.txt)。
哪些不會浪費檢索預算
- 404 和其他 4xx 錯誤不會,429 除外。Google 只得到一個狀態碼,沒有內容(Myths and facts about crawling)。
- robots.txt 中的 crawl-delay 對 Google 無效:它的檢索器不處理這條規則(同一頁面)。
- 連結上的 nofollow 只有在指向該網址的所有連結(無論在您的網站上或網路上)都帶有它時才有用(同一頁面)。
- Search Console 的「網址參數」工具已經不存在。Google 宣布它將在 2022 年 3 月 28 日的一個月後移除,並表示其檢索器「will learn how to deal with URL parameters automatically」(會自動學會如何處理網址參數)(Google Search Central Blog)。
- 用 robots.txt 把預算轉給其他網頁。 除非 Google 已經碰到您伺服器的上限,否則它不會轉移空出來的預算(Optimize your crawl budget)。
如何查看 Google 怎麼檢索我的網站?
開啟「檢索統計資料」報表:在 Search Console 中依序進入「設定」和「檢索統計資料」。它顯示 Google 發出多少要求、在什麼時候、您的伺服器如何回應,以及任何可用性問題。它只適用於網域資源或根層級網址資源,並且會把重新導向鏈的每一步算作一次個別要求(Search Console Help: Crawl Stats report)。
接著在「網頁索引」報表中查看「Discovered - currently not indexed」(已發現 - 目前尚未建立索引)。每種狀態的意思見已檢索或已發現,目前尚未建立索引。其他報表的介紹見小型企業如何使用 Google Search Console。
範例
以下為說明用的案例,數字是虛構的。
一家有 35 個網頁的屋頂公司
新網頁幾天內就出現在 Google 中。什麼都不用做。
一家有 400 種商品的居家裝飾店(加幣)
顏色、尺寸、材質和價格(每 25 加幣一級)篩選產生了 60,000 多個網址,新商品要好幾週才出現。店主在 robots.txt 中封鎖篩選和排序參數,每個類別保留一個「所有商品」網頁,Sitemap 中只列商品頁和類別頁。
一家有活動行事曆的婚禮場地(美元)
行事曆無止盡地連結到未來每個月份,「檢索統計資料」顯示大部分要求都花在空的月份上。開發人員為未來月份的連結加上 nofollow,並對沒有活動的月份回傳 404。1,200 美元方案的網頁幾天內就重新被檢索。
常見問題
檢索頻率是 Google 的排名因素嗎?
不是。Google 表示,出現在搜尋結果中需要先被檢索,但「it's not a ranking signal」(它不是排名信號)(Myths and facts about crawling)。
網頁速度會影響檢索嗎?
會。載入和轉譯更快,Google 就能檢索更多;大量伺服器錯誤會讓它放慢。Google 補充說,對訪客而言速度更重要(Myths and facts about crawling)。請參閱Core Web Vitals(網站使用體驗核心指標)。
子網域共用一個檢索預算嗎?
不共用。Google 把每個主機名稱當作獨立網站,所以 `www.example.com` 和 `shop.example.com` 的預算是分開的(Optimize your crawl budget)。
我應該封鎖 AI 檢索器來節省檢索預算嗎?
它們不占用 Google 的預算。但您的伺服器變慢時,Google 會減少檢索,所以大量機器人流量仍可能造成影響。請參閱用 robots.txt 封鎖 AI 檢索器。
您的情況不同?
- Search Console 顯示網頁未建立索引:已檢索或已發現,目前尚未建立索引。
- 您經營一家有篩選功能的網路商店:電子商務 SEO。
- 新網站上線後流量下降:網站改版後流量下降。
- 您的架站平台替您管理 robots.txt:Wix、Squarespace 還是 WordPress 更有利於 SEO。
- 您希望有人替您完成技術檢查:SEO 與 GEO 代理。