索引障礙:所有讓網頁進不了 Google 的原因
簡短回答 只有當 Googlebot 能存取網頁、伺服器回傳 200(成功)狀態碼,而且網頁有可讀的內容時,Google 才會將它編入索引。任何一項出問題都會阻止索引:noindex 標記、robots.txt 規則、登入要求、4xx 或持續的 5xx 錯誤、重新導向、指向其他網址的標準標記,或只有 JavaScript 才能顯示的內容。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話哪些情況會阻止 Google 將網頁編入索引?
Google 的門檻有三項。網頁要符合資格,必須做到:"Googlebot isn't blocked"(Googlebot 未遭封鎖)、"Google receives an HTTP 200 (success) status code"(Google 收到 HTTP 200(成功)狀態碼),以及 "The page has indexable content"(網頁有可編入索引的內容)(Google Search Central:技術規定)。三項都符合也不保證一定會被編入索引;但只要有一項不符合,幾乎一定進不了索引。
Googlebot 是 Google 的檢索器,也就是造訪網頁的程式。狀態碼是伺服器隨每個網頁回傳的三位數字(200 代表正常,404 代表找不到)。
| 障礙 | 作用 | 在小型企業網站上藏在哪裡 | 如何發現 |
|---|---|---|---|
| noindex 標記或標頭 | 讓 Google 將網頁移出索引 | WordPress、Wix 或 SEO 外掛裡的「對搜尋引擎隱藏」開關;改版後忘了關 | 網址審查會寫明原因是 noindex |
| robots.txt 規則 | 讓 Google 無法讀取網頁 | 從測試網站複製過來的 `Disallow: /` | Search Console 的 robots.txt 報告 |
| 登入或密碼 | Googlebot 不會檢索 | 會員區、客戶入口網站、還在「建置中」而設了密碼的網站 | 用瀏覽器無痕視窗開啟網頁 |
| 4xx 錯誤(404、410、403) | 網頁不會被編入索引;已編入的會被移除 | 刪除或改名的網頁、回傳 403 的安全性外掛 | 網址審查會顯示狀態碼 |
| 5xx 錯誤或停機 | 檢索變慢;持續出錯的網頁會被移除 | 不穩定的主機、到期的方案、故障的外掛 | Search Console 的檢索統計資料報告 |
| 軟性 404 | 網頁顯示「找不到」或沒有內容,卻回傳 200 | 空的分類頁、沒有內容的缺貨頁 | 網頁索引報告會列出軟性 404 |
| 重新導向 | 只有目標網頁會被編入索引 | 舊網址全部導向首頁 | 網址審查會顯示最終網址 |
| 標準標記指向別處 | Google 改為將另一個網址編入索引 | 範本在每個網頁都把首頁設為標準網址 | 網址審查會顯示 Google 選定的標準網址 |
| 只有 JavaScript 才顯示的內容 | Google 可能只索引到一個空殼 | 用指令碼載入的預約工具、選單或評論 | 網址審查:查看已檢索的網頁 |
| 移除要求 | 隱藏該網址約六個月 | 以前負責網站的人提出的 | Search Console 的移除工具 |
每一列的出處見下文各節。垃圾內容問題和人工判決處罰也會讓網頁進不了索引,請見 Google 人工判決處罰。
noindex 與 robots.txt:讓網頁一直卡住的錯誤
兩者作用不同,混用反而弄巧成拙。robots.txt 控制檢索,noindex 控制索引。Google 對 robots.txt 說得很直接:
"It is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 譯文:「它不是將網頁排除在 Google 之外的機制。如果不想讓網頁出現在 Google 上,請使用 noindex 禁止編入索引,或以密碼保護該網頁。」
被 robots.txt 封鎖的網頁,如果有其他網站連結到它,仍可能以一個光禿禿的連結出現,"without visiting the page"(Google 並未造訪該網頁)(同一頁面)。如果您在被 robots.txt 封鎖的網頁上加了 noindex,Google 根本讀不到這個標記:"the crawler will never see the noindex rule, and the page can still appear in search results"(檢索器永遠看不到 noindex 規則,網頁仍可能出現在搜尋結果中)(Google Search Central:使用 noindex 禁止搜尋引擎建立索引)。在 robots.txt 裡寫 noindex 則 "is not supported by Google"(Google 不支援)(同一頁面)。
noindex 也可能藏在網頁程式碼之外。`X-Robots-Tag` HTTP 標頭的作用相同,而且是在伺服器上設定,所以在網頁原始碼裡看不到(同一頁面)。可以用網址審查或 `curl -I https://yourdomain.com/page` 檢查。
移除 noindex 之後,Google 要再次造訪才會發現。對造訪較少的網頁,"it may take months for Googlebot to revisit"(Googlebot 可能要幾個月才會再次造訪)(同一頁面),所以請在網址審查中要求建立索引。
伺服器錯誤和停機:網頁什麼時候會掉出索引?
短暫中斷沒關係,反覆出問題就不行。遇到 5xx 錯誤(500、502、503)時,Google 會放慢檢索。Google 表示 "already indexed URLs are preserved in the index, but eventually dropped"(已編入索引的網址會暫時保留,但最終會被移除),"persistently return a server error"(持續回傳伺服器錯誤)的網址會被移除(Google Search Central:HTTP 狀態碼)。
有兩個細節常讓業主中招:
- robots.txt 出錯會讓整個網站停擺。 如果 robots.txt 回傳伺服器錯誤,"For the first 12 hours, Google stops crawling the site"(最初 12 小時內,Google 會停止檢索該網站),之後最多 30 天使用最後一份正常的副本(Google Search Central:robots.txt 規格)。沒有 robots.txt(404)則沒問題:Google 會認定沒有任何限制(同一頁面)。
- 維護模式設定不當。 暫停一兩天的話,Google 建議使用 503 錯誤頁面;更久的話,請保留一個正常的首頁(Google Search Central:暫時暫停或停用網站)。Google 也提醒:"Don't return a 503 HTTP response status code for the robots.txt file because this blocks all crawling"(不要讓 robots.txt 檔案回傳 503 HTTP 狀態碼,因為這會封鎖所有檢索)(同一頁面)。
錯誤頁面永遠不會被編入索引:"Client and server error pages aren't indexed"(用戶端和伺服器錯誤頁面不會被編入索引)(Google Search Central:技術規定)。看起來像錯誤、卻回傳 200 的網頁就是軟性 404:以成功狀態碼 "telling the user that the page does not exist"(告訴使用者網頁不存在)的網頁,或 "with no main content"(沒有主要內容)的網頁(Google Search Central:排解檢索錯誤)。
網站或資料庫速度慢會阻止索引嗎?
光是慢並不會。Google 看的是檢索器收到什麼,而不是您的伺服器怎麼產生網頁。只有慢到出現錯誤或逾時,才會成為障礙。如果網址審查顯示 "Hostload exceeded"(主機負載超出),代表 Googlebot "can't crawl as many URLs from your site as it discovered"(無法檢索它在您網站上發現的那麼多網址)(Google Search Central:排解檢索錯誤)。速度作為排名因素是另一回事,請見 Core Web Vitals。
標準標記和重複網頁
標準(canonical)標記告訴 Google,幾個相似網址中哪一個是主要版本。Google 只把它當作建議:"indicating a canonical preference is a hint, not a rule"(指定標準網址偏好只是提示,不是規則)(Google Search Central:什麼是標準化)。所以標準標記設錯了,例如每個網頁都指向首頁,就可能讓您的服務頁面被首頁取代。
Google 列出了一個很容易忽略的情況:"the demo version of the site is accidentally left accessible to crawlers"(網站的示範版本不小心對檢索器開放)(同一頁面)。測試副本請設密碼保護。
不要用 robots.txt 或 noindex 來指定主要版本。Google 表示不要把 robots.txt 用於 "for canonicalization purposes"(標準化用途),而 noindex "will completely block the page from Search"(會將網頁完全排除在搜尋之外)(Google Search Central:如何指定標準網址)。請使用 `rel="canonical"` 連結;如果副本本來就不該存在,就用 301 重新導向。
重新導向本身沒問題。Google 會跟隨 "up to 10 redirect hops"(最多 10 次重新導向),並將 301 視為 "a strong signal"(強烈信號),表示目標網頁才是要編入索引的網頁(Google Search Central:HTTP 狀態碼)。
登入、JavaScript 和被封鎖的檔案
- 登入: "If a page is made private, such as requiring a log-in to view it, Googlebot will not crawl it"(如果網頁設為私人,例如需要登入才能查看,Googlebot 就不會檢索)(Google Search Central:技術規定)。
- JavaScript: Google 在編入索引前會用瀏覽器轉譯網頁,但程式碼中有 noindex 的網頁會被略過:Google 會轉譯回傳 200 的網頁,"unless a robots meta tag or header tells Google not to index the page"(除非 robots meta 標記或標頭告訴 Google 不要將網頁編入索引)(Google Search Central:JavaScript SEO 基本概念)。用指令碼產生的選單需要有 href 位址的真正 HTML 連結,否則 Google 可能會漏掉它們指向的網頁(同一頁面)。
- 被封鎖的指令碼和樣式檔案: 不要封鎖網頁正常顯示所需的檔案。如果少了它們會讓網頁 "harder for Google's crawler to understand"(更難被 Google 檢索器理解),Google 的說法是 "don't block them"(不要封鎖它們)(Google Search Central:robots.txt 簡介)。
哪些網頁應該刻意封鎖?怎麼做?
依目的選擇工具(Google Search Central:控管您要在 Google 搜尋中分享的內容):
| 目的 | 用什麼 | 原因 |
|---|---|---|
| 私人資料、客戶檔案、測試網站 | 密碼 | 唯一真正的安全措施;也能排除在搜尋之外 |
| 感謝頁、登入頁、站內搜尋頁 | noindex | 使用者仍可造訪;Google 不會列出 |
| 兩個網址內容相同 | 標準連結或 301 重新導向 | 保留一個版本;noindex 會把網頁完全封鎖 |
| 不想被顯示的圖片或影片 | robots.txt | Google 表示 robots.txt 對媒體檔案有效 |
| 已經出現、必須馬上撤下的內容 | 先用移除工具,再加 noindex 或刪除 | 移除效果 "last for about 6 months"(持續約 6 個月)(Google Search Central) |
如何檢查網站的索引障礙
- 網址審查:檢查首頁和每個主要服務頁。它會顯示網頁是否已編入索引、狀態碼、Google 選定的標準網址,以及 Googlebot 收到的 HTML(Google Search Central:使用 noindex 禁止搜尋引擎建立索引)。
- 網頁索引報告和檢索統計資料報告。 Google 建議 "look at both reports"(兩份報告都要看),因為它們顯示的問題不同(Google Search Central:技術規定)。各狀態的意思請見 Search Console 狀態說明。
- robots.txt 報告:每次修改該檔案後都在 Search Console 中查看。它可以要求重新讀取;否則 Google "every 24 hours"(每 24 小時)更新一次副本(Google Search Central:更新 robots.txt 檔案)。
- 無痕瀏覽器視窗:逐一開啟重要網頁。您在這裡遇到的登入提示或錯誤,Google 也會遇到。
- 每次改版、換主機或安裝外掛後都要重新檢查。 障礙通常就在這些時候出現。
範例
改版後的一家物理治療診所
來自搜尋的預約少了一半。網址審查顯示,新範本在每個服務頁上都送出了 `X-Robots-Tag: noindex`。開發人員把它移除;業主為 8 個主要網頁要求建立索引。
用廉價主機的一位水電師傅
檢索統計資料顯示,一個月內大多數日子都有伺服器錯誤,服務頁開始掉出索引。換到每月約 $30 的更可靠主機後,錯誤消失;網頁在接下來幾週陸續回來。
有測試網站的一家麵包店
Google 顯示了網站測試副本中的網頁,位址在一個測試子網域上。這個測試副本沒有設密碼。解決方法:為它加上密碼保護,並對測試網址使用移除工具。
常見問題
nofollow 會阻止網頁被編入索引嗎?
不會。nofollow 只是告訴 Google 不要跟隨某個網頁或連結上的連結。要讓網頁不被編入索引,請用 noindex。
一個 404 網頁會影響整個網站嗎?
不會。404 只會讓那一個網址掉出索引。如果網頁搬家了,請加上 301 重新導向,讓訪客和 Google 都能找到新網頁。
修好的網頁多久會回來?
取決於 Google 何時重新檢索。在網址審查中要求建立索引一次即可;造訪較少的網頁,可能要幾週甚至更久才會被再次造訪。
新網站建置期間應該封鎖 Google 嗎?
用密碼,不要用 robots.txt。密碼能同時擋住 Google 和訪客,上線當天移除即可。
您的情況不同?
- 整個網站都搜尋不到,而不只是某個網頁:網站在 Google 上搜尋不到。
- Search Console 顯示「已檢索 - 目前尚未建立索引」(Crawled - currently not indexed):各狀態的意思。
- 剛開始使用 Search Console:小型企業該看的報告。
- 改版後網頁掉出索引:改版後流量下滑。
- 想封鎖 AI 檢索器但不封鎖 Google:GPTBot、ClaudeBot 與 robots.txt。
- 希望有人幫您找出並修正障礙:SEO 與 GEO 代理。