產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

已發現,目前尚未建立索引:讓 Google 檢索您的網頁

更新於 · 閱讀約 8 分鐘

簡短回答 當您有很大一部分網頁處於「Discovered - currently not indexed」(已發現 - 目前尚未建立索引)時,要修整個網站,而不是逐一修網頁。讓伺服器保持快速、不出錯,刪掉不需要被檢索的網址,從 Google 已經常造訪的網頁連結到新網頁,保持 Sitemap 乾淨,分小批發布,然後等待。只為少數關鍵網頁要求建立索引。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

大量網頁「已發現 - 目前尚未建立索引」:解決方法

Google 知道這些網址,但還沒去造訪。它對這個狀態的說明:

"The page was found by Google, but not crawled yet. Typically, Google wanted to crawl the URL but this was expected to overload the site; therefore Google rescheduled the crawl." (Search Console Help: Page indexing report) 譯文:「Google 已發現該網頁,但尚未檢索。通常是 Google 想檢索該網址,但預計這樣會讓網站負載過重,因此 Google 重新安排了檢索時間。」

如果只有幾個網頁,等著就好。如果有幾百個,或者佔了網站的大部分,Google 的進階檢索指南就是寫給您的:「Sites with a large portion of their total URLs classified by Search Console as Discovered - currently not indexed」(在 Search Console 中,有很大一部分網址被歸為「已發現 - 目前尚未建立索引」的網站)(Google:檢索預算管理)。檢索預算(crawl budget)是指 Google 在一定時間內願意而且能夠從您網站檢索的網頁數量。下面的步驟都來自這份指南。

是單一網頁的問題,還是全站的問題?

您看到的情況通常代表怎麼做
最近兩週發布的幾個網頁正常排隊。新網頁或新網站「It can take a week or so」(可能需要一週左右)(Search Console 說明)等待
一個重要網頁卡了好幾週網頁層面的問題參考我們關於單一網頁未建立索引的指南
幾百個網頁,或網站的大部分伺服器限制、垃圾網址太多,或兩者都有依照下面第 1–7 步處理

第 1 步:在清單中找出規律

在 Search Console 中,開啟「索引」,再開啟「網頁」,點選 Discovered - currently not indexed(已發現 - 目前尚未建立索引)。把範例網址依資料夾或結尾分組:`/tag/`、`/page/2/`、`?sort=price`、商品變體、地區網頁。如果大部分是您本來就不想出現在搜尋中的網址,代表您的好網頁被垃圾網址堵在後面。如果是您真正的網頁,先查伺服器(第 2 步)和連結(第 4 步)。

第 2 步:檢查伺服器是不是瓶頸

Google 一開始給每個網站的都是「the same default, conservative crawl capacity limit」(同樣的預設、保守的檢索容量上限),只有網站一直保持健康時才會提高(Google:檢索預算管理)。網站吃力時,它會降低上限:

"If the site slows down (latency increases or response times become longer), or responds with server errors (5xx HTTP status codes) or rate-limiting signals (such as HTTP 429), the limit goes down and Google crawls less." (same page) 譯文:「如果網站變慢(延遲增加或回應時間變長),或回傳伺服器錯誤(5xx HTTP 狀態碼)或限流訊號(例如 HTTP 429),上限就會降低,Google 的檢索也會減少。」(同一頁面)

5xx 錯誤表示伺服器出了故障;429 表示「要求過多」。Google 說,大量的 500、503 或 429 回應會讓檢索變慢,而且是「across the whole hostname」(整個主機名稱範圍內),好網頁也不例外(Google 檢索基礎架構:降低 Google 檢索頻率)。

要檢查的:

  1. 對一個卡住的網頁執行網址審查(URL Inspection),點選「測試線上網址」。如果顯示 Hostload exceeded(主機負載超出上限),Google 的解決方法是「add more server resources if that makes sense for your business」(如果對您的業務合理,就增加伺服器資源)(Google:檢索預算管理)。
  2. 問問您的主機商:您的方案或某項安全設定是否會限制爬蟲,或在尖峰時段回傳 429。
  3. 讓網頁載入更快。Google 說,如果它「can load and render your pages faster, we might be able to read more content from your site」(能更快載入和算繪您的網頁,我們或許就能讀取您網站上更多的內容)(同一頁面)。

第 3 步:刪掉 Google 不該花時間的網址

Google 會嘗試檢索它知道的每一個網址。用它的話說,把時間浪費在重複和垃圾網頁上是「the factor that you can positively control the most」(您最能主動控制的因素)(Google:檢索預算管理)。

網址類型範例解決方法
篩選和排序連結`/shoes?color=red&sort=price`在 robots.txt 中封鎖;Google 警告它們「can generate infinite URL spaces」(可能產生無限的網址空間)(Google:多面向導覽)
同一內容出現在多個網址列印版、帶追蹤代碼的副本合併到一個網址(Google:檢索預算管理)
軟性 404(soft 404):內容空白卻正常載入的網頁「沒有結果」的搜尋網頁回傳真正的 404。軟性 404「will continue to be crawled, and waste your budget」(會繼續被檢索,浪費您的預算)(同一頁面)
已移除的網頁售完商品、過期促銷回傳 404 或 410。404「is a strong signal not to crawl that URL again」(是不要再檢索該網址的強烈訊號)(同一頁面)
重新導向鏈A → B → C讓 A 直接指向 C。長鏈「have a negative effect on crawling」(會對檢索產生負面影響)(同一頁面)
幾乎一樣的範本網頁300 個只換了城鎮名稱的城市網頁合併成更少、更真實的網頁;參見城市網頁和誘導網頁

兩個陷阱:

  • noindex 省不了檢索時間。 「Don't use noindex, as Google will still request, but then drop the page」(不要用 noindex,因為 Google 仍會要求該網頁,只是隨後捨棄)(同一頁面)。它的作用是讓網頁不出現在搜尋結果中,而不是騰出檢索時間。
  • robots.txt 不是臨時開關。 只用在您永遠不想被檢索的網頁。Google 說,除非它之前已經碰到您伺服器的上限,否則它「won't shift this newly available crawl budget to other pages」(不會把這部分新空出的檢索預算轉給其他網頁)(同一頁面)。

Google 主要透過連結發現新網頁。它舉的例子是:「a hub page, such as a category page, links to a new blog post」(一個中心網頁,例如分類頁,連結到一篇新的部落格文章)(Google Search Central:Google 搜尋的運作方式)。所以要從首頁、選單,或已經建立索引的分類頁或服務網頁連結到每個新網頁。

連結要是真正的連結。Google「can only crawl your link if it's an」HTML 錨點元素「with an href attribute」(只有當連結是帶 href 屬性的 HTML 錨點元素時才能檢索),也就是用 `a href` 寫的一般連結(Google Search Central:連結最佳做法)。只能透過指令碼驅動的「載入更多」按鈕才能到達的網頁可能不會被發現;Google 說它「can't reliably extract」(無法可靠地擷取)這類連結(同一頁面)。

第 5 步:Sitemap 只列您想建立索引的網頁

Sitemap(網站地圖)是一個向搜尋引擎列出您網頁的檔案。只列出您想出現在搜尋中的有效網頁,每個都用最終網址。

  • 日期要如實。 Google 只有在最後修改日期「if it's consistently and verifiably ... accurate」(始終一致且可驗證地……準確)時才會使用它(Google Search Central:建立並提交 Sitemap)。改一下版權年份不算更新(同一頁面)。給每個網頁都標上今天的日期,只會讓 Google 學會忽略它。
  • 提交它:在 Search Console 的「Sitemap」報表中提交,報表會顯示 Googlebot 上次讀取的時間(同一頁面)。提交只是「merely a hint」(僅僅是一個提示)(同一頁面)。
  • 不用填優先順序和變更頻率。 Google 說這兩項它都會忽略(同一頁面)。

第 6 步:分小批發布

檢索上限會隨著時間和信任增長。如果有需求且網站保持健康,Google 會「over time」(隨著時間)提高網站的上限,並綜合考量「popularity, overall user value, content uniqueness, and serving capacity」(熱門程度、整體使用者價值、內容獨特性和服務能力)(Google:檢索預算管理)。一個新網站一天加 1,000 個範本網頁,要求的已經超出它起步上限能承受的。分批發布網頁,最好的先發,等上一批大部分建立索引後再加下一批。

第 7 步:為少數關鍵網頁要求建立索引,然後等待

在網址審查中,只為最重要的卡住網頁點選「要求建立索引」。「a quota for submitting individual URLs」(提交單一網址有配額),而且要求「does not guarantee」(並不保證)被收錄(Google Search Central:要求 Google 重新檢索)。Google 說檢索需要幾天到幾週(同一頁面)。然後看「網頁」報表中「已發現」的數量下降。不需要點選「驗證修正」:Google 每次重新檢索時都會更新數量(Search Console 說明)。

哪些做法沒用

您會看到的建議為什麼跳過
Google 的 Indexing API 或付費的「即時收錄」服務該 API「can only be used to crawl pages with either JobPosting or BroadcastEvent embedded in a VideoObject」(只能用來檢索含有 JobPosting,或在 VideoObject 中嵌入 BroadcastEvent 的網頁)(Google Search Central)
加上結構化資料標記Google 要先檢索網頁才會讀取標記,所以它無法讓網頁在佇列中往前排
Google 的行動裝置相容性測試(Mobile-Friendly Test)已於 2023 年 12 月 1 日停用(Google Search Central 部落格)
動態算繪(專給爬蟲看的網頁版本)Google 稱它是「a workaround and not a recommended solution」(一種權宜之計,而非建議的解決方案)(Google Search Central)
為每個網頁都點「要求建立索引」配額會用完,也解決不了根本原因

範例

一家有 40,000 個「已發現」網址的網路商店

這家店有 800 個商品。清單裡全是 `?size=`、`?color=` 和 `?sort=` 網址。解決方法:在 robots.txt 中封鎖篩選參數,在 Sitemap 中保留商品頁和分類頁,每個商品只用一個網址。篩選副本不再佔用時間後,真正的商品頁就會被檢索。

一家一次發布 250 個地區網頁的清潔公司

每個網頁文字相同,只換了城鎮名稱。只有選單裡連結的 10 個被檢索了。解決方法:合併成 12 個地區網頁,配上當地的工作案例和照片,從服務區域網頁連結到全部 12 個,其餘的做重新導向,之後每次只加幾個新地區。

一家用便宜共用主機的律師事務所部落格

200 篇文章處於「已發現」狀態。網址審查顯示 Hostload exceeded(主機負載超出上限),主機商也確認網站在尖峰時段會回傳 503。解決方法:換到更強的方案,然後為五個主要業務領域網頁要求建立索引,等兩到三週。

常見問題

「已發現 - 目前尚未建立索引」會持續多久?

沒有固定期限。Google 說新網頁或新網站可能需要「a week or so」(一週左右)才開始(Search Console 說明),而檢索可能需要幾天到幾週。如果很多網頁持續一個月或更久,就依照上面的步驟逐一處理。

「已發現」是否代表我的內容品質差?

單憑這一點不能說明:Google 還沒讀過這個網頁,它自己的說明把原因歸於預計的伺服器過載。不過全站品質仍然重要,因為 Google 在決定檢索多少時會考量使用者價值和內容獨特性。

卡在「已發現」的網頁要刪掉嗎?

只刪您不需要出現在搜尋中的那些。回傳 404 會告訴 Google 不要再要求它們,從而為其餘網頁騰出時間。

我的網站少於 500 個網頁,這些還適用嗎?

很少適用。Google 說少於 500 個網頁的網站「probably don't need」(可能不需要)「網頁索引」報表(Search Console 說明)。確認首頁和主要服務網頁已建立索引就夠了。

您的情況不同?

繼續閱讀

下一篇JavaScript SEO 稽核:確認 Google 看得到您的內容老闆自己就能做的 JavaScript SEO 稽核:比對網頁原始碼和 Google 算繪出的版本,再檢查連結、標記和錯誤網頁,並了解 AI 爬蟲會漏掉什麼。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Search Console Help: Page indexing report
  2. Google Crawling Infrastructure: Crawl budget management
  3. Google Crawling Infrastructure: Reduce Google crawl rate
  4. Google Crawling Infrastructure: Managing crawling of faceted navigation URLs
  5. Google Search Central: In-depth guide to how Google Search works
  6. Google Search Central: Link best practices
  7. Google Search Central: Build and submit a sitemap
  8. Google Search Central: Ask Google to recrawl your URLs
  9. Google Search Central: Indexing API quickstart
  10. Google Search Central: Dynamic rendering as a workaround
  11. Google Search Central Blog: The mobile friendly testing tool (retired)