Noindex 檢查:如何查看網頁是否設定了 noindex
簡短回答 先在網頁原始碼中搜尋「noindex」,再檢查回應標頭裡有沒有 X-Robots-Tag。任何一個都會讓網頁不出現在 Google 中。想知道 Google 自己看到了什麼,就把網址貼到 Search Console 的網址審查工具中,查看「Indexing allowed?」(是否允許建立索引)。在那裡執行即時測試,檢查的是今天的版本,而不是上次檢索的版本。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話如何檢查網頁是否設定了 noindex?
先在網頁上看兩個地方,再問 Google。Google Search Central 表示,noindex 有兩種設定方式:網頁程式碼中的 meta 標記,或 HTTP 回應標頭,而且「They have the same effect.」(兩者效果相同)。只查其中一個,就可能漏掉另一個。
| 檢查 | 能查到什麼 | 時間 | 您需要 |
|---|---|---|---|
| 1. 檢視網頁原始碼 | 程式碼中的 noindex meta 標記 | 1 分鐘 | 任何瀏覽器 |
| 2. 回應標頭 | 伺服器傳送的 noindex(X-Robots-Tag) | 2 分鐘 | Chrome 或終端機 |
| 3. 瀏覽器擴充功能 | 兩者都能查到,開啟的每個網頁都查 | 幾秒鐘(安裝後) | 一個擴充功能 |
| 4. 網址審查(URL Inspection) | Google 實際看到了什麼,以及今天是否還在 | 2 分鐘 | 該網站的 Search Console 權限 |
檢查 1 到 3 告訴您網頁寫了什麼。檢查 4 告訴您 Google 讀到了什麼。兩者不一致時,決定您能否出現在搜尋結果中的,是 Google 的答案。
檢查 1:在網頁原始碼中搜尋「noindex」
- 在瀏覽器中開啟該網頁。
- 在空白處按右鍵,選擇「檢視網頁原始碼」(View page source)。在 Chrome 中,也可以在網址前輸入 `view-source:`。
- 按 Ctrl+F(Mac 上按 Cmd+F),搜尋 `noindex`。
會封鎖的標記是一行以 `meta` 開頭、包含 `name="robots"` 和 `content="noindex"` 的程式碼。緊張之前,先看看這個字周圍寫了什麼:
- `name="robots"` 對所有搜尋引擎生效。`name="googlebot"` 只對 Google 生效。
- `content="none"` 也會封鎖。Google 的規範說它等同於「noindex, nofollow」。
- `name="googlebot-news"` 只影響 Google 新聞的結果。
- 完全搜不到,對這項檢查來說是好消息,但還要做檢查 2。這個標記也可能不在網頁標頭區:Google 表示它也「will respect robots meta tags in the body section」(會遵守內文區段中的 robots meta 標記)。
檢查 2:查找 X-Robots-Tag 回應標頭
伺服器可以不改網頁程式碼,就透過一個名為 X-Robots-Tag 的回應標頭傳送 noindex。回應標頭是伺服器在傳送網頁本身之前先送出的簡短說明。Google 表示,對於沒有程式碼可以放標記的檔案,「such as PDF files, video files, or image files」(例如 PDF 檔、影片檔或圖片檔),就用這種方式封鎖。檢視原始碼永遠看不到它。
在 Chrome 中:
- 在網頁上按右鍵,選擇「檢查」(Inspect),開啟 Network 分頁。
- 重新載入網頁。
- 點選第一列(網頁本身的網址)。在 Headers 分頁中,捲動到 Response Headers。
- 查找 `x-robots-tag`。值中含有 `noindex` 或 `none` 就會封鎖該網頁。
如果您會用終端機,`curl -sI https://example.com/your-page/` 一行指令就能列出同樣的回應標頭。Google 對回應標頭的名稱和值不區分大小寫,所以 `X-Robots-Tag` 和 `x-robots-tag` 是同一回事。
檢查 3:使用瀏覽器擴充功能
SEO 擴充功能會讀取您開啟的每個網頁的標記和回應標頭,省得您重複做檢查 1 和 2。舉一個 Chrome 線上應用程式商店的例子:Robots Exclusion Checker 會標出 robots.txt 封鎖、robots meta 標記和 X-Robots-Tag 回應標頭,並顯示完整的回應標頭。其他擴充功能也能做同樣的事。網站改版後逐頁點選檢查時,擴充功能很方便,但它回報的是您的瀏覽器拿到的內容,不是 Google 拿到的內容。
檢查 4:Search Console 中的網址審查
這是 Google 自己的答案。Google 的 noindex 指南建議用它「to see the HTML that Googlebot received while crawling the page.」(查看 Googlebot 檢索網頁時收到的 HTML)。
- 開啟 Search Console,把完整的網頁網址貼到上方的搜尋列。
- 展開 Page indexing(網頁索引),找到 Indexing allowed?(是否允許建立索引)。如果顯示「No」,Search Console 說明指出您的網站「is returning a "noindex" tag or header」(正在傳回「noindex」標記或標頭)。
- 一開始看到的結果是 Google 上次檢索的版本,不是目前的網頁。點選 Test live URL(測試線上網址)檢查網頁現在的樣子。
- 點選 View crawled page(查看已檢索的網頁;即時測試中是 View tested page),查看 Google 拿到的 HTML 和 HTTP 回應標頭。
一次查很多網頁時,網頁索引報表會把 Google 因發現 noindex 而排除的所有網址歸為一組。每個網站的即時測試和建立索引要求每天有次數限制,所以想看全站狀況,就用這份報表。如何解讀這份報表,請看小型企業如何使用 Google Search Console。
為什麼各項檢查結果不一致?
| 您看到的情況 | 常見原因 |
|---|---|
| 原始碼沒問題,Google 顯示「No」 | Google 的副本是舊的。即時測試會顯示今天的版本。 |
| 原始碼沒問題,即時測試中 Google 也顯示「No」 | noindex 在回應標頭裡(檢查 2),或有指令碼在網頁載入後加上了它 |
| 原始碼中有 noindex,網頁卻仍在 Google 中 | Google 還沒有重新檢索。Google 表示,對有些網頁這「may take months」(可能需要幾個月)。 |
| 「Indexing allowed?」顯示「Yes」,但 robots.txt 封鎖了該網頁 | Google 讀不到網頁,所以看不到 noindex。Search Console 說明指出,這種情況下該欄位一定顯示「Yes」。 |
用 JavaScript 建置的網站要特別注意指令碼這種情況。檢視原始碼顯示的是指令碼執行前的程式碼,所以可能漏掉後來加上的標記。Google 警告,反過來也會出問題:如果它拿到的最初程式碼寫著 noindex,它「may skip rendering」(可能會略過算繪),這樣負責移除標記的指令碼可能根本不會執行。Google 的建議是:「If you do want the page indexed, don't use a noindex tag in the original page code.」(如果您確實想讓網頁被建立索引,就不要在原始網頁程式碼中使用 noindex 標記。)
發現了不想要的 noindex?
在小型企業網站上,它通常來自某個設定,而不是手寫的程式碼:
| 來源 | 在哪裡關閉 |
|---|---|
| WordPress,整個網站 | 設定 > 閱讀 > 「阻擋搜尋引擎索引這個網站」(Discourage search engines from indexing this site)。WordPress 表示,它會在每個網頁加上 noindex, nofollow 標記。網站上線後常常忘了關掉。 |
| Yoast SEO,單一網頁 | 在網頁編輯器中,Yoast 面板 > 進階(Advanced)> 「Allow search engines to show this content in search results」(允許搜尋引擎在搜尋結果中顯示此內容)設為「No」 |
| Wix,單一網頁 | 頁面與選單(Pages & Menu)> 更多動作(More Actions)> SEO 基本設定(SEO basics)> 關閉「Let search engines index this page」(允許搜尋引擎索引此頁面) |
| 回應標頭(檢查 2) | 伺服器或主機設定。請問您的網站技術人員或主機商。 |
修改之後:
- 再做一次檢查 1 或 2,確認標記已經不見了。
- 在網址審查中執行即時測試。「Indexing allowed?」應顯示「Yes」。
- 點選 Request indexing(要求建立索引)。Search Console 說明表示,建立索引「typically takes only a day or so」(通常只需一天左右),但也可能更久,而且不保證一定收錄。
如果移除 noindex 後網頁仍然沒出現,原因就是別的。請看已檢索或已發現,但目前尚未建立索引。
範例
以下為示意案例。
一位牙醫的新網站上線後
上線兩週後,Google 中一個網頁都搜不到。檢視首頁原始碼,發現一個值為 `noindex,nofollow` 的 robots meta 標記。開發人員在架站時勾選了 WordPress 的「阻擋搜尋引擎索引這個網站」,上線後沒有取消。取消勾選後,再為首頁和主要服務網頁要求建立索引,問題就開始解決了。
一家屋頂承包商的價目表 PDF
這家屋頂承包商希望價目表 PDF 不出現在 Google 中。PDF 沒辦法檢視原始碼。網站技術人員為該檔案設定了 X-Robots-Tag: noindex 回應標頭,檢查 2 確認回應中已經有了它。
一家園藝公司「又回來了」的服務網頁
網址審查顯示草坪養護網頁「Indexing allowed? No」,但原始碼沒問題。即時測試顯示「Yes」:標記上個月已經移除,而 Google 的副本更舊。只剩下點選「要求建立索引」這一步。
常見問題
搜尋 site:mydomain.com 能告訴我網頁是否設定了 noindex 嗎?
不可靠。網頁搜不到的原因有很多,而設定了 noindex 的網頁在 Google 重新檢索之前也可能還留在結果中。網址審查會告訴您原因。
nofollow 和 noindex 一樣嗎?
不一樣。nofollow 是關於網頁上連結的提示。noindex 讓網頁本身不出現在結果中。一個標記可以同時包含兩者。
針對 Google 的 noindex 也會封鎖 Bing 嗎?
只有 `name="robots"` 針對所有搜尋引擎;`name="googlebot"` 不是。Google 提到,有些搜尋引擎「might interpret the noindex rule differently」(可能對 noindex 規則有不同解讀),所以在其他搜尋引擎上的結果可能不同。
可以把 noindex 寫在 robots.txt 裡嗎?
不可以。Google 表示,robots.txt 檔案中的 noindex「is not supported」(不受支援)。請使用 meta 標記或回應標頭。
您的情況不同?
- 整個網站都不在 Google 中:網站在 Google 上搜不到。
- noindex 已經移除,但網頁仍未建立索引:已檢索或已發現,但目前尚未建立索引。
- 您剛開始用 Search Console:小型企業如何使用 Google Search Console。
- 您正在選擇或更換架站工具:Wix 或 Squarespace 對 SEO 不好嗎?。
- 您希望有人替您檢查索引狀況:SEO 與 GEO 代理。