檢查整個網站的 noindex 標記
簡短回答 開啟 Search Console 的網頁索引報表,找原因為「Excluded by 'noindex' tag」(已遭「noindex」標記排除)的網頁。如果您希望被搜尋到的網頁在清單裡,就表示有東西在讓 Google 略過它們。接著用免費的檢索工具檢索整個網站,找出每一個網頁,再檢查一個網頁的 HTTP 標頭,因為 noindex 可能藏在網頁程式碼之外。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話怎麼檢查整個網站有沒有 noindex?
noindex 是網頁程式碼裡、或伺服器回應中的一行指令,告訴 Google 不要把這個網頁放進搜尋結果。Google 這樣描述接下來會發生的事:
"When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it." (Google Search Central: Block Search indexing with noindex) 譯文:「當 Googlebot 檢索該網頁並擷取到該標記或標頭時,Google 會將該網頁從 Google 搜尋結果中完全移除,無論其他網站是否連結到它。」
一個網頁誤加了 noindex,問題不大。但如果某個設定把它加到每個網頁上,您的搜尋流量可能會歸零。依以下順序做三項檢查:
| 檢查 | 能發現什麼 | 費用 |
|---|---|---|
| 1. Search Console,索引 > 網頁 | Google 發現帶有 noindex 的每個網頁 | 免費 |
| 2. 網站檢索工具 | 目前帶有 noindex 的每個網頁,包括 Google 尚未重新造訪的網頁 | 500 個網址以內免費 |
| 3. 首頁的程式碼和 HTTP 標頭 | 由伺服器設定、在網頁編輯器裡看不到的 noindex | 免費 |
在 Google 上搜尋 `site:yourdomain.com` 可以快速看一眼,但 Google 說它的結果「not always exhaustive」(不一定完整)。它只顯示已收錄的網頁,不會告訴您某個網頁為什麼不見了。
第 1 步:查看 Search Console 中的 noindex 清單
在 Search Console 中開啟「索引 > 網頁」。在「網頁未建立索引的原因」下找到「Excluded by 'noindex' tag」(已遭「noindex」標記排除),點進去查看範例網頁。清單最多顯示 1,000 個範例(Search Console Help: Page indexing report)。
把清單分成兩堆來看:
- 可以保留: 感謝頁、登入頁、購物車和結帳頁、站內搜尋結果頁、標籤彙整頁。
- 有問題: 首頁、服務網頁、地區網頁、部落格文章。
如果「有問題」那堆很長,就找規律。所有部落格文章都在裡面,表示是某個內容類型的設定。每個網頁都在,表示是全站開關。Search Console 的說明文件也點出了一個警訊:已建立索引的網頁減少、卻沒有新錯誤,可能表示您正在「via robots.txt, 'noindex' or a required login」(透過 robots.txt、noindex 或必須登入)封鎖網頁。
這份清單只反映 Google 上次造訪時看到的情況。Google 說重新造訪可能要很久:
"Depending on the importance of the page on the internet, it may take months for Googlebot to revisit a page." (Google Search Central: Block Search indexing with noindex) 譯文:「視網頁在網路上的重要程度而定,Googlebot 可能需要數個月才會重新造訪一個網頁。」
所以上週加上的 noindex 可能還沒出現在清單裡。這就是第 2 步的意義。
第 2 步:檢索網站,查看每個網頁今天的狀態
檢索工具是一種程式,它像 Google 一樣造訪您網站上的每個網頁,並列出它發現的內容。Screaming Frog SEO Spider 可以免費檢索最多 500 個網址,足夠大多數服務業的網站使用;購買年度付費授權後就沒有數量限制(Screaming Frog)。無論 noindex 在網頁程式碼裡還是在 HTTP 標頭裡,它都能回報出來。
- 下載軟體,貼上您的首頁網址,開始檢索。
- 開啟 Directives 分頁,篩選 noindex。
- 匯出清單,和上面「可以保留」那堆比對。
每次網站上線、更換主題或更新 SEO 外掛後,都再執行一次。小網站只要幾分鐘。
第 3 步:檢查 HTTP 標頭,而不只是網頁
Google 接受兩個位置的 noindex:網頁程式碼中的 robots meta 標記(包含 `name="robots" content="noindex"`),或伺服器隨網頁傳送的 HTTP 標頭(`X-Robots-Tag: noindex`)。標頭永遠不會出現在您的網頁編輯器或「檢視網頁原始碼」裡。
檢查方法:在 Chrome 中開啟您的首頁,按右鍵,選擇「檢查」,開啟 Network 分頁並重新整理。點選第一列(您的網頁),查看回應標頭。Search Console 的說明文件也這麼說:在「the page source or response headers for the word 'noindex'」(網頁原始碼或回應標頭中搜尋「noindex」這個字)。標頭裡的 noindex 通常來自主機服務商、安全性外掛或 CDN 規則,而不是您的架站工具。
如果只查一個網頁,用 Search Console 的網址審查(URL Inspection)工具就能確定。執行即時測試,看「Indexing allowed?」(是否允許建立索引?)。顯示「No」就表示 noindex 還在。
全站 noindex 是從哪裡來的?
大多來自某人刻意打開、後來又忘了關的開關。
| 來源 | 會發生什麼 | 去哪裡看 |
|---|---|---|
| WordPress 的「Discourage search engines」(阻止搜尋引擎索引這個網站) | 在每個網頁加上 noindex 標記。常常是架站時打開後忘了關,或從測試(staging)網站複製過來 | 設定 > 閱讀(WordPress Documentation) |
| SEO 外掛的內容類型 | Yoast 對每種類型(文章、頁面、商品)都有開關,關閉後整個類型都會被加上 noindex | Yoast SEO > Settings > Content types(Yoast) |
| 外掛更換 | 新的 SEO 外掛帶來自己的預設值,或兩個外掛設定衝突 | 外掛清單;只保留一個 SEO 外掛 |
| Wix | 「Let search engines index your site」(允許搜尋引擎索引您的網站)開關被關閉 | SEO Dashboard > Go to SEO Settings(Wix Help Center) |
| Shopify | 私人模式會對訪客和搜尋引擎隱藏「all of your online store's pages」(您網路商店的所有頁面) | Online Store > Preferences > Private mode(Shopify Help Center) |
| 伺服器或 CDN | 為測試網站加上的 `X-Robots-Tag` 標頭被推送到正式網站 | 詢問您的主機服務商或開發人員 |
| 主題或範本 | 某個範本帶有 noindex,用它建立的每個網頁都會帶上 | 該範本的 SEO 設定 |
Google 自己的上線檢查清單點出了這個典型情況:
"Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration." (Google Search Central: Site moves with URL changes) 譯文:「別忘了移除只在遷移期間需要的 noindex 或 robots.txt 封鎖。」
完整的上線後流量檢查,請看改版後流量為什麼下降。
不要用 robots.txt 來解決
robots.txt 是一個檔案,告訴檢索工具哪些網頁不要造訪。它不是 noindex,反而可能把 noindex 藏起來。Google 警告,如果網頁被 robots.txt 封鎖,「the crawler will never see the noindex rule, and the page can still appear in search results」(檢索器永遠看不到 noindex 規則,該網頁仍可能出現在搜尋結果中)。所以:
- 想讓網頁不出現在 Google:使用 noindex,並讓 Google 檢索它。
- 想讓網頁重新出現:移除 noindex。不要「為了保險」再加一條 robots.txt 封鎖。
檢索預算(Google 在您網站上檢索的網頁數量)也是同樣的道理。Google 告訴大型網站不要用 noindex 來節省檢索預算,因為 Google「will still request, but then drop the page」(仍會請求該網頁,然後再捨棄它)。小型企業網站不需要考慮檢索預算。
我已經移除了,Google 多快會恢復?
Google 重新檢索後,網頁就會回來,重要網頁優先。
- 確認 noindex 已經移除:重新執行檢索工具和即時網址測試。
- 在網址審查中,為首頁和主要服務網頁點選「要求建立索引」。
- 在 Search Console 中重新提交 Sitemap,讓 Google 看到您希望被搜尋到的每個網頁。
網頁重新建立索引後,排名也會恢復。沒有任何保證的日期,造訪較少的網頁可能需要更久。
範例
以下為示意案例,數字皆為虛構。
改版後的水電工(美元)
設計師在測試網址上架設新網站時,勾選了 WordPress 的「Discourage search engines」(阻止搜尋引擎索引這個網站),然後直接把網站上線。六週內,來自搜尋的電話從每月約 40 通降到 10 通。檢索工具顯示全部 60 個網頁都帶有 noindex。取消勾選這一個選項並要求建立索引,就解決了問題根源。
更換 SEO 外掛的多倫多會計師
Search Console 把全部 25 篇部落格文章列在「Excluded by 'noindex' tag」(已遭「noindex」標記排除)下,但服務網頁都正常。新外掛把「文章」類型設成了隱藏。改一個開關就解決了。
網頁原始碼乾淨的診所
網頁程式碼裡沒有 noindex,但即時網址測試顯示「Indexing allowed? No」(是否允許建立索引?否)。回應標頭中出現了 `X-Robots-Tag: noindex`,是主機服務商為測試副本加上的。主機服務商刪除了這條規則。
常見問題
網站有一些 noindex 網頁是壞事嗎?
不是。Google 把 noindex 標記列為網頁不被建立索引的正當原因之一。感謝頁、登入頁和結帳頁帶有 noindex 很正常。
noindex 檢查網站會檢查我的整個網站嗎?
大多數免費檢查工具一次只檢查一個網址。要檢查每個網頁,請用 Search Console 的網頁索引報表和檢索工具。
帶有 noindex 的網頁還會出現在 Google 上嗎?
會,直到 Google 重新檢索它;或者如果 robots.txt 阻止 Google 看到這個標記,也會繼續出現。
您的情況不同?
- 您的網站在 Google 上完全搜尋不到:網站在 Google 上搜尋不到。
- Search Console 顯示的是「Crawled, currently not indexed」(已檢索,目前尚未建立索引):Search Console 中網頁未建立索引。
- 您剛開始使用 Search Console:小型企業如何使用 Google Search Console。
- 您正在挑選架站平台:Wix、Squarespace 還是 WordPress 比較有利於 SEO。
- 您希望有人替您盯著索引狀況:SEO 與 GEO 代理。