產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

索引障礙:所有讓網頁進不了 Google 的原因

更新於 · 閱讀約 8 分鐘

簡短回答 只有當 Googlebot 能存取網頁、伺服器回傳 200(成功)狀態碼,而且網頁有可讀的內容時,Google 才會將它編入索引。任何一項出問題都會阻止索引:noindex 標記、robots.txt 規則、登入要求、4xx 或持續的 5xx 錯誤、重新導向、指向其他網址的標準標記,或只有 JavaScript 才能顯示的內容。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

哪些情況會阻止 Google 將網頁編入索引?

Google 的門檻有三項。網頁要符合資格,必須做到:"Googlebot isn't blocked"(Googlebot 未遭封鎖)、"Google receives an HTTP 200 (success) status code"(Google 收到 HTTP 200(成功)狀態碼),以及 "The page has indexable content"(網頁有可編入索引的內容)(Google Search Central:技術規定)。三項都符合也不保證一定會被編入索引;但只要有一項不符合,幾乎一定進不了索引。

Googlebot 是 Google 的檢索器,也就是造訪網頁的程式。狀態碼是伺服器隨每個網頁回傳的三位數字(200 代表正常,404 代表找不到)。

障礙作用在小型企業網站上藏在哪裡如何發現
noindex 標記或標頭讓 Google 將網頁移出索引WordPress、Wix 或 SEO 外掛裡的「對搜尋引擎隱藏」開關;改版後忘了關網址審查會寫明原因是 noindex
robots.txt 規則讓 Google 無法讀取網頁從測試網站複製過來的 `Disallow: /`Search Console 的 robots.txt 報告
登入或密碼Googlebot 不會檢索會員區、客戶入口網站、還在「建置中」而設了密碼的網站用瀏覽器無痕視窗開啟網頁
4xx 錯誤(404、410、403)網頁不會被編入索引;已編入的會被移除刪除或改名的網頁、回傳 403 的安全性外掛網址審查會顯示狀態碼
5xx 錯誤或停機檢索變慢;持續出錯的網頁會被移除不穩定的主機、到期的方案、故障的外掛Search Console 的檢索統計資料報告
軟性 404網頁顯示「找不到」或沒有內容,卻回傳 200空的分類頁、沒有內容的缺貨頁網頁索引報告會列出軟性 404
重新導向只有目標網頁會被編入索引舊網址全部導向首頁網址審查會顯示最終網址
標準標記指向別處Google 改為將另一個網址編入索引範本在每個網頁都把首頁設為標準網址網址審查會顯示 Google 選定的標準網址
只有 JavaScript 才顯示的內容Google 可能只索引到一個空殼用指令碼載入的預約工具、選單或評論網址審查:查看已檢索的網頁
移除要求隱藏該網址約六個月以前負責網站的人提出的Search Console 的移除工具

每一列的出處見下文各節。垃圾內容問題和人工判決處罰也會讓網頁進不了索引,請見 Google 人工判決處罰。

noindex 與 robots.txt:讓網頁一直卡住的錯誤

兩者作用不同,混用反而弄巧成拙。robots.txt 控制檢索,noindex 控制索引。Google 對 robots.txt 說得很直接:

"It is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 譯文:「它不是將網頁排除在 Google 之外的機制。如果不想讓網頁出現在 Google 上,請使用 noindex 禁止編入索引,或以密碼保護該網頁。」

被 robots.txt 封鎖的網頁,如果有其他網站連結到它,仍可能以一個光禿禿的連結出現,"without visiting the page"(Google 並未造訪該網頁)(同一頁面)。如果您在被 robots.txt 封鎖的網頁上加了 noindex,Google 根本讀不到這個標記:"the crawler will never see the noindex rule, and the page can still appear in search results"(檢索器永遠看不到 noindex 規則,網頁仍可能出現在搜尋結果中)(Google Search Central:使用 noindex 禁止搜尋引擎建立索引)。在 robots.txt 裡寫 noindex 則 "is not supported by Google"(Google 不支援)(同一頁面)。

noindex 也可能藏在網頁程式碼之外。`X-Robots-Tag` HTTP 標頭的作用相同,而且是在伺服器上設定,所以在網頁原始碼裡看不到(同一頁面)。可以用網址審查或 `curl -I https://yourdomain.com/page` 檢查。

移除 noindex 之後,Google 要再次造訪才會發現。對造訪較少的網頁,"it may take months for Googlebot to revisit"(Googlebot 可能要幾個月才會再次造訪)(同一頁面),所以請在網址審查中要求建立索引。

伺服器錯誤和停機:網頁什麼時候會掉出索引?

短暫中斷沒關係,反覆出問題就不行。遇到 5xx 錯誤(500、502、503)時,Google 會放慢檢索。Google 表示 "already indexed URLs are preserved in the index, but eventually dropped"(已編入索引的網址會暫時保留,但最終會被移除),"persistently return a server error"(持續回傳伺服器錯誤)的網址會被移除(Google Search Central:HTTP 狀態碼)。

有兩個細節常讓業主中招:

  • robots.txt 出錯會讓整個網站停擺。 如果 robots.txt 回傳伺服器錯誤,"For the first 12 hours, Google stops crawling the site"(最初 12 小時內,Google 會停止檢索該網站),之後最多 30 天使用最後一份正常的副本(Google Search Central:robots.txt 規格)。沒有 robots.txt(404)則沒問題:Google 會認定沒有任何限制(同一頁面)。
  • 維護模式設定不當。 暫停一兩天的話,Google 建議使用 503 錯誤頁面;更久的話,請保留一個正常的首頁(Google Search Central:暫時暫停或停用網站)。Google 也提醒:"Don't return a 503 HTTP response status code for the robots.txt file because this blocks all crawling"(不要讓 robots.txt 檔案回傳 503 HTTP 狀態碼,因為這會封鎖所有檢索)(同一頁面)。

錯誤頁面永遠不會被編入索引:"Client and server error pages aren't indexed"(用戶端和伺服器錯誤頁面不會被編入索引)(Google Search Central:技術規定)。看起來像錯誤、卻回傳 200 的網頁就是軟性 404:以成功狀態碼 "telling the user that the page does not exist"(告訴使用者網頁不存在)的網頁,或 "with no main content"(沒有主要內容)的網頁(Google Search Central:排解檢索錯誤)。

網站或資料庫速度慢會阻止索引嗎?

光是慢並不會。Google 看的是檢索器收到什麼,而不是您的伺服器怎麼產生網頁。只有慢到出現錯誤或逾時,才會成為障礙。如果網址審查顯示 "Hostload exceeded"(主機負載超出),代表 Googlebot "can't crawl as many URLs from your site as it discovered"(無法檢索它在您網站上發現的那麼多網址)(Google Search Central:排解檢索錯誤)。速度作為排名因素是另一回事,請見 Core Web Vitals。

標準標記和重複網頁

標準(canonical)標記告訴 Google,幾個相似網址中哪一個是主要版本。Google 只把它當作建議:"indicating a canonical preference is a hint, not a rule"(指定標準網址偏好只是提示,不是規則)(Google Search Central:什麼是標準化)。所以標準標記設錯了,例如每個網頁都指向首頁,就可能讓您的服務頁面被首頁取代。

Google 列出了一個很容易忽略的情況:"the demo version of the site is accidentally left accessible to crawlers"(網站的示範版本不小心對檢索器開放)(同一頁面)。測試副本請設密碼保護。

不要用 robots.txt 或 noindex 來指定主要版本。Google 表示不要把 robots.txt 用於 "for canonicalization purposes"(標準化用途),而 noindex "will completely block the page from Search"(會將網頁完全排除在搜尋之外)(Google Search Central:如何指定標準網址)。請使用 `rel="canonical"` 連結;如果副本本來就不該存在,就用 301 重新導向。

重新導向本身沒問題。Google 會跟隨 "up to 10 redirect hops"(最多 10 次重新導向),並將 301 視為 "a strong signal"(強烈信號),表示目標網頁才是要編入索引的網頁(Google Search Central:HTTP 狀態碼)。

登入、JavaScript 和被封鎖的檔案

  • 登入: "If a page is made private, such as requiring a log-in to view it, Googlebot will not crawl it"(如果網頁設為私人,例如需要登入才能查看,Googlebot 就不會檢索)(Google Search Central:技術規定)。
  • JavaScript: Google 在編入索引前會用瀏覽器轉譯網頁,但程式碼中有 noindex 的網頁會被略過:Google 會轉譯回傳 200 的網頁,"unless a robots meta tag or header tells Google not to index the page"(除非 robots meta 標記或標頭告訴 Google 不要將網頁編入索引)(Google Search Central:JavaScript SEO 基本概念)。用指令碼產生的選單需要有 href 位址的真正 HTML 連結,否則 Google 可能會漏掉它們指向的網頁(同一頁面)。
  • 被封鎖的指令碼和樣式檔案: 不要封鎖網頁正常顯示所需的檔案。如果少了它們會讓網頁 "harder for Google's crawler to understand"(更難被 Google 檢索器理解),Google 的說法是 "don't block them"(不要封鎖它們)(Google Search Central:robots.txt 簡介)。

哪些網頁應該刻意封鎖?怎麼做?

依目的選擇工具(Google Search Central:控管您要在 Google 搜尋中分享的內容):

目的用什麼原因
私人資料、客戶檔案、測試網站密碼唯一真正的安全措施;也能排除在搜尋之外
感謝頁、登入頁、站內搜尋頁noindex使用者仍可造訪;Google 不會列出
兩個網址內容相同標準連結或 301 重新導向保留一個版本;noindex 會把網頁完全封鎖
不想被顯示的圖片或影片robots.txtGoogle 表示 robots.txt 對媒體檔案有效
已經出現、必須馬上撤下的內容先用移除工具,再加 noindex 或刪除移除效果 "last for about 6 months"(持續約 6 個月)(Google Search Central)

如何檢查網站的索引障礙

  1. 網址審查:檢查首頁和每個主要服務頁。它會顯示網頁是否已編入索引、狀態碼、Google 選定的標準網址,以及 Googlebot 收到的 HTML(Google Search Central:使用 noindex 禁止搜尋引擎建立索引)。
  2. 網頁索引報告和檢索統計資料報告。 Google 建議 "look at both reports"(兩份報告都要看),因為它們顯示的問題不同(Google Search Central:技術規定)。各狀態的意思請見 Search Console 狀態說明。
  3. robots.txt 報告:每次修改該檔案後都在 Search Console 中查看。它可以要求重新讀取;否則 Google "every 24 hours"(每 24 小時)更新一次副本(Google Search Central:更新 robots.txt 檔案)。
  4. 無痕瀏覽器視窗:逐一開啟重要網頁。您在這裡遇到的登入提示或錯誤,Google 也會遇到。
  5. 每次改版、換主機或安裝外掛後都要重新檢查。 障礙通常就在這些時候出現。

範例

改版後的一家物理治療診所

來自搜尋的預約少了一半。網址審查顯示,新範本在每個服務頁上都送出了 `X-Robots-Tag: noindex`。開發人員把它移除;業主為 8 個主要網頁要求建立索引。

用廉價主機的一位水電師傅

檢索統計資料顯示,一個月內大多數日子都有伺服器錯誤,服務頁開始掉出索引。換到每月約 $30 的更可靠主機後,錯誤消失;網頁在接下來幾週陸續回來。

有測試網站的一家麵包店

Google 顯示了網站測試副本中的網頁,位址在一個測試子網域上。這個測試副本沒有設密碼。解決方法:為它加上密碼保護,並對測試網址使用移除工具。

常見問題

nofollow 會阻止網頁被編入索引嗎?

不會。nofollow 只是告訴 Google 不要跟隨某個網頁或連結上的連結。要讓網頁不被編入索引,請用 noindex。

一個 404 網頁會影響整個網站嗎?

不會。404 只會讓那一個網址掉出索引。如果網頁搬家了,請加上 301 重新導向,讓訪客和 Google 都能找到新網頁。

修好的網頁多久會回來?

取決於 Google 何時重新檢索。在網址審查中要求建立索引一次即可;造訪較少的網頁,可能要幾週甚至更久才會被再次造訪。

新網站建置期間應該封鎖 Google 嗎?

用密碼,不要用 robots.txt。密碼能同時擋住 Google 和訪客,上線當天移除即可。

您的情況不同?

繼續閱讀

下一篇noindex 設錯:一個設定就能讓 Google 找不到您的網站WordPress、Wix、Squarespace、SEO 外掛和伺服器中哪些設定會意外加上 noindex,怎麼發現,又怎麼復原。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Search Central: Google Search technical requirements
  2. Google Search Central: Block Search indexing with noindex
  3. Google Search Central: Introduction to robots.txt
  4. Google Search Central: How Google interprets the robots.txt specification
  5. Google Search Central: How HTTP status codes affect Google's crawlers
  6. Google Search Central: Temporarily pause or disable a website
  7. Google Search Central: What is canonicalization
  8. Google Search Central: How to specify a canonical URL
  9. Google Search Central: Understand JavaScript SEO basics
  10. Google Search Central: Troubleshoot Google Search crawling errors
  11. Google Search Central: Control what you share with Google Search
  12. Google Search Central: Remove a page hosted on your site from Google
  13. Google Search Central: Update your robots.txt file