產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

Noindex 檢查:如何查看網頁是否設定了 noindex

更新於 · 閱讀約 6 分鐘

簡短回答 先在網頁原始碼中搜尋「noindex」,再檢查回應標頭裡有沒有 X-Robots-Tag。任何一個都會讓網頁不出現在 Google 中。想知道 Google 自己看到了什麼,就把網址貼到 Search Console 的網址審查工具中,查看「Indexing allowed?」(是否允許建立索引)。在那裡執行即時測試,檢查的是今天的版本,而不是上次檢索的版本。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

如何檢查網頁是否設定了 noindex?

先在網頁上看兩個地方,再問 Google。Google Search Central 表示,noindex 有兩種設定方式:網頁程式碼中的 meta 標記,或 HTTP 回應標頭,而且「They have the same effect.」(兩者效果相同)。只查其中一個,就可能漏掉另一個。

檢查能查到什麼時間您需要
1. 檢視網頁原始碼程式碼中的 noindex meta 標記1 分鐘任何瀏覽器
2. 回應標頭伺服器傳送的 noindex(X-Robots-Tag)2 分鐘Chrome 或終端機
3. 瀏覽器擴充功能兩者都能查到,開啟的每個網頁都查幾秒鐘(安裝後)一個擴充功能
4. 網址審查(URL Inspection)Google 實際看到了什麼,以及今天是否還在2 分鐘該網站的 Search Console 權限

檢查 1 到 3 告訴您網頁寫了什麼。檢查 4 告訴您 Google 讀到了什麼。兩者不一致時,決定您能否出現在搜尋結果中的,是 Google 的答案。

檢查 1:在網頁原始碼中搜尋「noindex」

  1. 在瀏覽器中開啟該網頁。
  2. 在空白處按右鍵,選擇「檢視網頁原始碼」(View page source)。在 Chrome 中,也可以在網址前輸入 `view-source:`。
  3. 按 Ctrl+F(Mac 上按 Cmd+F),搜尋 `noindex`。

會封鎖的標記是一行以 `meta` 開頭、包含 `name="robots"` 和 `content="noindex"` 的程式碼。緊張之前,先看看這個字周圍寫了什麼:

  • `name="robots"` 對所有搜尋引擎生效。`name="googlebot"` 只對 Google 生效。
  • `content="none"` 也會封鎖。Google 的規範說它等同於「noindex, nofollow」。
  • `name="googlebot-news"` 只影響 Google 新聞的結果。
  • 完全搜不到,對這項檢查來說是好消息,但還要做檢查 2。這個標記也可能不在網頁標頭區:Google 表示它也「will respect robots meta tags in the body section」(會遵守內文區段中的 robots meta 標記)。

檢查 2:查找 X-Robots-Tag 回應標頭

伺服器可以不改網頁程式碼,就透過一個名為 X-Robots-Tag 的回應標頭傳送 noindex。回應標頭是伺服器在傳送網頁本身之前先送出的簡短說明。Google 表示,對於沒有程式碼可以放標記的檔案,「such as PDF files, video files, or image files」(例如 PDF 檔、影片檔或圖片檔),就用這種方式封鎖。檢視原始碼永遠看不到它。

在 Chrome 中:

  1. 在網頁上按右鍵,選擇「檢查」(Inspect),開啟 Network 分頁。
  2. 重新載入網頁。
  3. 點選第一列(網頁本身的網址)。在 Headers 分頁中,捲動到 Response Headers。
  4. 查找 `x-robots-tag`。值中含有 `noindex` 或 `none` 就會封鎖該網頁。

如果您會用終端機,`curl -sI https://example.com/your-page/` 一行指令就能列出同樣的回應標頭。Google 對回應標頭的名稱和值不區分大小寫,所以 `X-Robots-Tag` 和 `x-robots-tag` 是同一回事。

檢查 3:使用瀏覽器擴充功能

SEO 擴充功能會讀取您開啟的每個網頁的標記和回應標頭,省得您重複做檢查 1 和 2。舉一個 Chrome 線上應用程式商店的例子:Robots Exclusion Checker 會標出 robots.txt 封鎖、robots meta 標記和 X-Robots-Tag 回應標頭,並顯示完整的回應標頭。其他擴充功能也能做同樣的事。網站改版後逐頁點選檢查時,擴充功能很方便,但它回報的是您的瀏覽器拿到的內容,不是 Google 拿到的內容。

檢查 4:Search Console 中的網址審查

這是 Google 自己的答案。Google 的 noindex 指南建議用它「to see the HTML that Googlebot received while crawling the page.」(查看 Googlebot 檢索網頁時收到的 HTML)。

  1. 開啟 Search Console,把完整的網頁網址貼到上方的搜尋列。
  2. 展開 Page indexing(網頁索引),找到 Indexing allowed?(是否允許建立索引)。如果顯示「No」,Search Console 說明指出您的網站「is returning a "noindex" tag or header」(正在傳回「noindex」標記或標頭)。
  3. 一開始看到的結果是 Google 上次檢索的版本,不是目前的網頁。點選 Test live URL(測試線上網址)檢查網頁現在的樣子。
  4. 點選 View crawled page(查看已檢索的網頁;即時測試中是 View tested page),查看 Google 拿到的 HTML 和 HTTP 回應標頭。

一次查很多網頁時,網頁索引報表會把 Google 因發現 noindex 而排除的所有網址歸為一組。每個網站的即時測試和建立索引要求每天有次數限制,所以想看全站狀況,就用這份報表。如何解讀這份報表,請看小型企業如何使用 Google Search Console。

為什麼各項檢查結果不一致?

您看到的情況常見原因
原始碼沒問題,Google 顯示「No」Google 的副本是舊的。即時測試會顯示今天的版本。
原始碼沒問題,即時測試中 Google 也顯示「No」noindex 在回應標頭裡(檢查 2),或有指令碼在網頁載入後加上了它
原始碼中有 noindex,網頁卻仍在 Google 中Google 還沒有重新檢索。Google 表示,對有些網頁這「may take months」(可能需要幾個月)。
「Indexing allowed?」顯示「Yes」,但 robots.txt 封鎖了該網頁Google 讀不到網頁,所以看不到 noindex。Search Console 說明指出,這種情況下該欄位一定顯示「Yes」。

用 JavaScript 建置的網站要特別注意指令碼這種情況。檢視原始碼顯示的是指令碼執行前的程式碼,所以可能漏掉後來加上的標記。Google 警告,反過來也會出問題:如果它拿到的最初程式碼寫著 noindex,它「may skip rendering」(可能會略過算繪),這樣負責移除標記的指令碼可能根本不會執行。Google 的建議是:「If you do want the page indexed, don't use a noindex tag in the original page code.」(如果您確實想讓網頁被建立索引,就不要在原始網頁程式碼中使用 noindex 標記。)

發現了不想要的 noindex?

在小型企業網站上,它通常來自某個設定,而不是手寫的程式碼:

來源在哪裡關閉
WordPress,整個網站設定 > 閱讀 > 「阻擋搜尋引擎索引這個網站」(Discourage search engines from indexing this site)。WordPress 表示,它會在每個網頁加上 noindex, nofollow 標記。網站上線後常常忘了關掉。
Yoast SEO,單一網頁在網頁編輯器中,Yoast 面板 > 進階(Advanced)> 「Allow search engines to show this content in search results」(允許搜尋引擎在搜尋結果中顯示此內容)設為「No」
Wix,單一網頁頁面與選單(Pages & Menu)> 更多動作(More Actions)> SEO 基本設定(SEO basics)> 關閉「Let search engines index this page」(允許搜尋引擎索引此頁面)
回應標頭(檢查 2)伺服器或主機設定。請問您的網站技術人員或主機商。

修改之後:

  1. 再做一次檢查 1 或 2,確認標記已經不見了。
  2. 在網址審查中執行即時測試。「Indexing allowed?」應顯示「Yes」。
  3. 點選 Request indexing(要求建立索引)。Search Console 說明表示,建立索引「typically takes only a day or so」(通常只需一天左右),但也可能更久,而且不保證一定收錄。

如果移除 noindex 後網頁仍然沒出現,原因就是別的。請看已檢索或已發現,但目前尚未建立索引。

範例

以下為示意案例。

一位牙醫的新網站上線後

上線兩週後,Google 中一個網頁都搜不到。檢視首頁原始碼,發現一個值為 `noindex,nofollow` 的 robots meta 標記。開發人員在架站時勾選了 WordPress 的「阻擋搜尋引擎索引這個網站」,上線後沒有取消。取消勾選後,再為首頁和主要服務網頁要求建立索引,問題就開始解決了。

一家屋頂承包商的價目表 PDF

這家屋頂承包商希望價目表 PDF 不出現在 Google 中。PDF 沒辦法檢視原始碼。網站技術人員為該檔案設定了 X-Robots-Tag: noindex 回應標頭,檢查 2 確認回應中已經有了它。

一家園藝公司「又回來了」的服務網頁

網址審查顯示草坪養護網頁「Indexing allowed? No」,但原始碼沒問題。即時測試顯示「Yes」:標記上個月已經移除,而 Google 的副本更舊。只剩下點選「要求建立索引」這一步。

常見問題

搜尋 site:mydomain.com 能告訴我網頁是否設定了 noindex 嗎?

不可靠。網頁搜不到的原因有很多,而設定了 noindex 的網頁在 Google 重新檢索之前也可能還留在結果中。網址審查會告訴您原因。

nofollow 和 noindex 一樣嗎?

不一樣。nofollow 是關於網頁上連結的提示。noindex 讓網頁本身不出現在結果中。一個標記可以同時包含兩者。

針對 Google 的 noindex 也會封鎖 Bing 嗎?

只有 `name="robots"` 針對所有搜尋引擎;`name="googlebot"` 不是。Google 提到,有些搜尋引擎「might interpret the noindex rule differently」(可能對 noindex 規則有不同解讀),所以在其他搜尋引擎上的結果可能不同。

可以把 noindex 寫在 robots.txt 裡嗎?

不可以。Google 表示,robots.txt 檔案中的 noindex「is not supported」(不受支援)。請使用 meta 標記或回應標頭。

您的情況不同?

繼續閱讀

下一篇檢查整個網站的 noindex 標記一次網站上線、主題或外掛更換,就可能讓所有網頁從 Google 消失。用 Search Console、一次免費檢索和一項標頭檢查,找出全站的 noindex。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Search Central: Block Search indexing with noindex
  2. Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
  3. Google Search Central: Understand the JavaScript SEO basics
  4. Search Console Help: URL Inspection tool
  5. Search Console Help: Page indexing report
  6. Chrome DevTools: Network features reference
  7. WordPress Documentation: Settings Reading Screen
  8. Yoast Help: How to noindex URLs
  9. Wix Help: Preventing Search Engines from Indexing Your Page
  10. Chrome Web Store: Robots Exclusion Checker