已發現,目前尚未建立索引:讓 Google 檢索您的網頁
簡短回答 當您有很大一部分網頁處於「Discovered - currently not indexed」(已發現 - 目前尚未建立索引)時,要修整個網站,而不是逐一修網頁。讓伺服器保持快速、不出錯,刪掉不需要被檢索的網址,從 Google 已經常造訪的網頁連結到新網頁,保持 Sitemap 乾淨,分小批發布,然後等待。只為少數關鍵網頁要求建立索引。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話大量網頁「已發現 - 目前尚未建立索引」:解決方法
Google 知道這些網址,但還沒去造訪。它對這個狀態的說明:
"The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl." (Search Console Help: Page indexing report) 譯文:「Google 已發現該網頁,但尚未檢索。通常是 Google 想檢索該網址,但預計這樣會讓網站負載過重,因此 Google 重新安排了檢索時間。」
如果只有幾個網頁,等著就好。如果有幾百個,或者佔了網站的大部分,Google 的進階檢索指南就是寫給您的:「Sites with a large portion of their total URLs classified by Search Console as Discovered - currently not indexed」(在 Search Console 中,有很大一部分網址被歸為「已發現 - 目前尚未建立索引」的網站)(Google:檢索預算管理)。檢索預算(crawl budget)是指 Google 在一定時間內願意而且能夠從您網站檢索的網頁數量。下面的步驟都來自這份指南。
是單一網頁的問題,還是全站的問題?
| 您看到的情況 | 通常代表 | 怎麼做 |
|---|---|---|
| 最近兩週發布的幾個網頁 | 正常排隊。新網頁或新網站「It can take a week or so」(可能需要一週左右)(Search Console 說明) | 等待 |
| 一個重要網頁卡了好幾週 | 網頁層面的問題 | 參考我們關於單一網頁未建立索引的指南 |
| 幾百個網頁,或網站的大部分 | 伺服器限制、垃圾網址太多,或兩者都有 | 依照下面第 1–7 步處理 |
第 1 步:在清單中找出規律
在 Search Console 中,開啟「索引」,再開啟「網頁」,點選 Discovered - currently not indexed(已發現 - 目前尚未建立索引)。把範例網址依資料夾或結尾分組:`/tag/`、`/page/2/`、`?sort=price`、商品變體、地區網頁。如果大部分是您本來就不想出現在搜尋中的網址,代表您的好網頁被垃圾網址堵在後面。如果是您真正的網頁,先查伺服器(第 2 步)和連結(第 4 步)。
第 2 步:檢查伺服器是不是瓶頸
Google 一開始給每個網站的都是「the same default, conservative crawl capacity limit」(同樣的預設、保守的檢索容量上限),只有網站一直保持健康時才會提高(Google:檢索預算管理)。網站吃力時,它會降低上限:
"If the site slows down (latency increases or response times become longer), or responds with server errors (5xx HTTP status codes) or rate-limiting signals (such as HTTP 429), the limit goes down and Google crawls less." (same page) 譯文:「如果網站變慢(延遲增加或回應時間變長),或回傳伺服器錯誤(5xx HTTP 狀態碼)或限流訊號(例如 HTTP 429),上限就會降低,Google 的檢索也會減少。」(同一頁面)
5xx 錯誤表示伺服器出了故障;429 表示「要求過多」。Google 說,大量的 500、503 或 429 回應會讓檢索變慢,而且是「across the whole hostname」(整個主機名稱範圍內),好網頁也不例外(Google 檢索基礎架構:降低 Google 檢索頻率)。
要檢查的:
- 對一個卡住的網頁執行網址審查(URL Inspection),點選「測試線上網址」。如果顯示 Hostload exceeded(主機負載超出上限),Google 的解決方法是「add more server resources if that makes sense for your business」(如果對您的業務合理,就增加伺服器資源)(Google:檢索預算管理)。
- 問問您的主機商:您的方案或某項安全設定是否會限制爬蟲,或在尖峰時段回傳 429。
- 讓網頁載入更快。Google 說,如果它「can load and render your pages faster, we might be able to read more content from your site」(能更快載入和算繪您的網頁,我們或許就能讀取您網站上更多的內容)(同一頁面)。
第 3 步:刪掉 Google 不該花時間的網址
Google 會嘗試檢索它知道的每一個網址。用它的話說,把時間浪費在重複和垃圾網頁上是「the factor that you can positively control the most」(您最能主動控制的因素)(Google:檢索預算管理)。
| 網址類型 | 範例 | 解決方法 |
|---|---|---|
| 篩選和排序連結 | `/shoes?color=red&sort=price` | 在 robots.txt 中封鎖;Google 警告它們「can generate infinite URL spaces」(可能產生無限的網址空間)(Google:多面向導覽) |
| 同一內容出現在多個網址 | 列印版、帶追蹤代碼的副本 | 合併到一個網址(Google:檢索預算管理) |
| 軟性 404(soft 404):內容空白卻正常載入的網頁 | 「沒有結果」的搜尋網頁 | 回傳真正的 404。軟性 404「will continue to be crawled, and waste your budget」(會繼續被檢索,浪費您的預算)(同一頁面) |
| 已移除的網頁 | 售完商品、過期促銷 | 回傳 404 或 410。404「is a strong signal not to crawl that URL again」(是不要再檢索該網址的強烈訊號)(同一頁面) |
| 重新導向鏈 | A → B → C | 讓 A 直接指向 C。長鏈「have a negative effect on crawling」(會對檢索產生負面影響)(同一頁面) |
| 幾乎一樣的範本網頁 | 300 個只換了城鎮名稱的城市網頁 | 合併成更少、更真實的網頁;參見城市網頁和誘導網頁 |
兩個陷阱:
- noindex 省不了檢索時間。 「Don't use noindex, as Google will still request, but then drop the page」(不要用 noindex,因為 Google 仍會要求該網頁,只是隨後捨棄)(同一頁面)。它的作用是讓網頁不出現在搜尋結果中,而不是騰出檢索時間。
- robots.txt 不是臨時開關。 只用在您永遠不想被檢索的網頁。Google 說,除非它之前已經碰到您伺服器的上限,否則它「won't shift this newly available crawl budget to other pages」(不會把這部分新空出的檢索預算轉給其他網頁)(同一頁面)。
第 4 步:從 Google 已經檢索的網頁連結到新網頁
Google 主要透過連結發現新網頁。它舉的例子是:「a hub page, such as a category page, links to a new blog post」(一個中心網頁,例如分類頁,連結到一篇新的部落格文章)(Google Search Central:Google 搜尋的運作方式)。所以要從首頁、選單,或已經建立索引的分類頁或服務網頁連結到每個新網頁。
連結要是真正的連結。Google「can only crawl your link if it's an」HTML 錨點元素「with an href attribute」(只有當連結是帶 href 屬性的 HTML 錨點元素時才能檢索),也就是用 `a href` 寫的一般連結(Google Search Central:連結最佳做法)。只能透過指令碼驅動的「載入更多」按鈕才能到達的網頁可能不會被發現;Google 說它「can't reliably extract」(無法可靠地擷取)這類連結(同一頁面)。
第 5 步:Sitemap 只列您想建立索引的網頁
Sitemap(網站地圖)是一個向搜尋引擎列出您網頁的檔案。只列出您想出現在搜尋中的有效網頁,每個都用最終網址。
- 日期要如實。 Google 只有在最後修改日期「if it's consistently and verifiably ... accurate」(始終一致且可驗證地……準確)時才會使用它(Google Search Central:建立並提交 Sitemap)。改一下版權年份不算更新(同一頁面)。給每個網頁都標上今天的日期,只會讓 Google 學會忽略它。
- 提交它:在 Search Console 的「Sitemap」報表中提交,報表會顯示 Googlebot 上次讀取的時間(同一頁面)。提交只是「merely a hint」(僅僅是一個提示)(同一頁面)。
- 不用填優先順序和變更頻率。 Google 說這兩項它都會忽略(同一頁面)。
第 6 步:分小批發布
檢索上限會隨著時間和信任增長。如果有需求且網站保持健康,Google 會「over time」(隨著時間)提高網站的上限,並綜合考量「popularity, overall user value, content uniqueness, and serving capacity」(熱門程度、整體使用者價值、內容獨特性和服務能力)(Google:檢索預算管理)。一個新網站一天加 1,000 個範本網頁,要求的已經超出它起步上限能承受的。分批發布網頁,最好的先發,等上一批大部分建立索引後再加下一批。
第 7 步:為少數關鍵網頁要求建立索引,然後等待
在網址審查中,只為最重要的卡住網頁點選「要求建立索引」。「a quota for submitting individual URLs」(提交單一網址有配額),而且要求「does not guarantee」(並不保證)被收錄(Google Search Central:要求 Google 重新檢索)。Google 說檢索需要幾天到幾週(同一頁面)。然後看「網頁」報表中「已發現」的數量下降。不需要點選「驗證修正」:Google 每次重新檢索時都會更新數量(Search Console 說明)。
哪些做法沒用
| 您會看到的建議 | 為什麼跳過 |
|---|---|
| Google 的 Indexing API 或付費的「即時收錄」服務 | 該 API「can only be used to crawl pages with either JobPosting or BroadcastEvent embedded in a VideoObject」(只能用來檢索含有 JobPosting,或在 VideoObject 中嵌入 BroadcastEvent 的網頁)(Google Search Central) |
| 加上結構化資料標記 | Google 要先檢索網頁才會讀取標記,所以它無法讓網頁在佇列中往前排 |
| Google 的行動裝置相容性測試(Mobile-Friendly Test) | 已於 2023 年 12 月 1 日停用(Google Search Central 部落格) |
| 動態算繪(專給爬蟲看的網頁版本) | Google 稱它是「a workaround and not a recommended solution」(一種權宜之計,而非建議的解決方案)(Google Search Central) |
| 為每個網頁都點「要求建立索引」 | 配額會用完,也解決不了根本原因 |
範例
一家有 40,000 個「已發現」網址的網路商店
這家店有 800 個商品。清單裡全是 `?size=`、`?color=` 和 `?sort=` 網址。解決方法:在 robots.txt 中封鎖篩選參數,在 Sitemap 中保留商品頁和分類頁,每個商品只用一個網址。篩選副本不再佔用時間後,真正的商品頁就會被檢索。
一家一次發布 250 個地區網頁的清潔公司
每個網頁文字相同,只換了城鎮名稱。只有選單裡連結的 10 個被檢索了。解決方法:合併成 12 個地區網頁,配上當地的工作案例和照片,從服務區域網頁連結到全部 12 個,其餘的做重新導向,之後每次只加幾個新地區。
一家用便宜共用主機的律師事務所部落格
200 篇文章處於「已發現」狀態。網址審查顯示 Hostload exceeded(主機負載超出上限),主機商也確認網站在尖峰時段會回傳 503。解決方法:換到更強的方案,然後為五個主要業務領域網頁要求建立索引,等兩到三週。
常見問題
「已發現 - 目前尚未建立索引」會持續多久?
沒有固定期限。Google 說新網頁或新網站可能需要「a week or so」(一週左右)才開始(Search Console 說明),而檢索可能需要幾天到幾週。如果很多網頁持續一個月或更久,就依照上面的步驟逐一處理。
「已發現」是否代表我的內容品質差?
單憑這一點不能說明:Google 還沒讀過這個網頁,它自己的說明把原因歸於預計的伺服器過載。不過全站品質仍然重要,因為 Google 在決定檢索多少時會考量使用者價值和內容獨特性。
卡在「已發現」的網頁要刪掉嗎?
只刪您不需要出現在搜尋中的那些。回傳 404 會告訴 Google 不要再要求它們,從而為其餘網頁騰出時間。
我的網站少於 500 個網頁,這些還適用嗎?
很少適用。Google 說少於 500 個網頁的網站「probably don't need」(可能不需要)「網頁索引」報表(Search Console 說明)。確認首頁和主要服務網頁已建立索引就夠了。
您的情況不同?
- 只有一兩個關鍵網頁不見了:已檢索或已發現,目前尚未建立索引。
- 整個網站都不在 Google 上:網站在 Google 上搜尋不到。
- 您經營有篩選功能的網路商店:電商 SEO。
- 您想養成每月看 Search Console 的習慣:該看哪些報表。
- 您更希望有人幫您處理:SEO 與 GEO 代理。