Noindex 檢查工具:檢查任何網址是否帶有 noindex 標記
簡短回答 noindex 規則可能藏在兩個地方:頁面程式碼裡的 robots meta 標記,或伺服器傳送的 X-Robots-Tag 標頭。兩個都要查。檢視網頁原始碼並搜尋「noindex」,再用瀏覽器或 curl 查看回應標頭。對於您自己網站上的頁面,Google 的網址審查工具(URL Inspection)會準確顯示 Googlebot 看到了什麼。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話如何檢查頁面是否帶有 noindex?
要查兩個地方,因為 Google 兩個都會讀。Google 搜尋中心(Search Central)的說明文件列出了設定 noindex 的兩種方式。
一種是頁面程式碼裡的 meta 標記,另一種是 HTTP 回應標頭:
"They have the same effect; choose the method that is more convenient for your site and appropriate for the content type." (Google Search Central: Block Search indexing with noindex) 譯文:「兩者效果相同;請選擇對您的網站更方便、也更適合該內容類型的方法。」
只讀取頁面程式碼的檢查工具會漏掉標頭,所以兩個都要查。
| 藏在哪裡 | 長什麼樣子 | 怎麼查看 |
|---|---|---|
| robots meta 標記,在頁面的 HTML 程式碼裡 | `meta name="robots" content="noindex"` | 檢視網頁原始碼,搜尋「noindex」 |
| 只針對 Google 的 meta 標記 | `meta name="googlebot" content="noindex"` | 同樣搜尋 |
| X-Robots-Tag HTTP 標頭(伺服器隨檔案一起傳送的說明,頁面上看不到) | `X-Robots-Tag: noindex` | 瀏覽器開發人員工具或 curl |
| 任一位置寫的「none」 | `content="none"` | Google 視為「noindex, nofollow」 |
Google 的 robots meta 標記規格說明這些字不分大小寫,所以「NOINDEX」也算。規格還說,放在頁面 body 裡(而不只是 head 裡)的 robots meta 標記,Google 也會遵守,所以要搜尋整份原始碼。
在瀏覽器裡手動檢查一個網址
- 開啟頁面。按右鍵,選擇 View Page Source(檢視網頁原始碼),或在 Chrome 中於網址前加上 `view-source:`。
- 按 Ctrl+F(Mac 上是 Cmd+F),搜尋 noindex,再搜尋 none。只要在名為 `robots` 或 `googlebot` 的 meta 標記裡找到相符內容,就表示該頁面要求不被建立索引。
- 查看標頭:開啟 Chrome 開發人員工具(F12),進入 Network(網路)分頁並重新載入。點選第一列(頁面本身),開啟 Headers(標頭),捲動到 Response Headers(回應標頭)。Chrome DevTools 指南描述的正是這個路徑。找名為 x-robots-tag 的一行。
PDF 也用這個方法查。PDF 沒有 HTML 程式碼,所以標頭是唯一能放 noindex 的地方。Google 表示該標頭「can be used for non-HTML resources, such as PDFs, video files, and image files」(可用於非 HTML 資源,例如 PDF、影片檔和圖片檔)(Google Search Central: Block Search indexing with noindex)。
用一行指令檢查
如果您會用終端機,curl 可以同時回答這兩個問題。curl 手冊對 `-I` 的描述是:「Fetch the headers only.」(只取得標頭。)
- 標頭:`curl -sIL https://yourdomain.com/page/ | grep -i x-robots-tag`
- meta 標記:`curl -sL https://yourdomain.com/page/ | grep -i noindex`
`-L` 會跟隨重新導向到最終頁面。兩行指令都沒有輸出,表示伺服器傳送的程式碼裡沒有 noindex。第二行指令有相符結果時值得看一眼:這個字可能出現在頁面文字裡,而不是標記裡。要檢查一批網址,把每個網址單獨一行存進 urls.txt,然後執行:`cat urls.txt | while read u; do echo "$u"; curl -sIL "$u" | grep -i x-robots-tag; curl -sL "$u" | grep -i noindex; done`
檢查 Google 實際看到了什麼
對於您自己網站上的頁面,Search Console 說了算。它是免費的:「Google Search Console is a free service offered by Google」(Google Search Console 是 Google 提供的免費服務)(Search Console Help: About Search Console)。Google 的 noindex 頁面推薦了它的兩個工具:
"To test if your noindex implementation is correct, use the URL Inspection tool to see the HTML that Googlebot received while crawling the page. You can also use the Page Indexing report in Search Console to monitor the pages on your site from which Googlebot extracted a noindex rule." (Google Search Central: Block Search indexing with noindex) 譯文:「如要測試您的 noindex 設定是否正確,請使用網址審查工具查看 Googlebot 檢索頁面時收到的 HTML。您也可以使用 Search Console 中的網頁索引報告,監控您網站上哪些頁面被 Googlebot 讀取到了 noindex 規則。」
在網址審查工具中,看 Indexing allowed?(是否允許建立索引?)這一行。如果您希望被找到的頁面顯示「No」,就表示有 noindex 在阻擋它(Search Console Help: URL Inspection tool)。要看全站清單,開啟網頁索引(Page indexing)報告,找與 noindex 標記有關的原因。各個原因的意思請見:已檢索或已發現,但目前未建立索引。
免費的線上 noindex 檢查工具會漏掉什麼?
快速檢查工具用來抽查沒問題。但要了解它的盲點:
| 盲點 | 為什麼重要 |
|---|---|
| 不檢查標頭 | 有些工具只讀 HTML;伺服器或外掛在標頭裡設定的規則會被漏掉 |
| 由 JavaScript 加上的標記 | Google 的 JavaScript 指南展示了在頁面載入後加上 robots meta 標記的程式碼。只讀原始程式碼的工具會漏掉它 |
| 用 JavaScript 移除 noindex | Google 表示,遇到 noindex 時它「may skip rendering and JavaScript execution」(可能略過算繪和 JavaScript 執行),所以用程式碼移除標記「may not work as expected」(可能無法達到預期效果)(Google Search Central: JavaScript SEO basics)。noindex 必須從原始程式碼中刪除 |
| robots.txt 封鎖了該頁面 | Google 無法讀取它不能檢索的頁面上的 noindex,所以該規則「will therefore be ignored」(因此會被忽略)(Google Search Central: Robots meta tag specifications)。檢查工具顯示有標記,但 Google 根本看不到 |
| 其他搜尋引擎 | Google 提醒「some search engines might interpret the noindex rule differently」(有些搜尋引擎對 noindex 規則的解讀可能不同)(Google Search Central: Block Search indexing with noindex) |
robots.txt 這種情況在網址審查工具裡有個反轉:當 robots.txt 封鎖了頁面時,「Indexing allowed?」一律顯示 Yes,因為 Google 看不到這個標記(Search Console Help: URL Inspection tool)。
發現了不想要的 noindex?
- 找出來源。 在 WordPress 上,查看「設定」下的「閱讀」。勾選「Discourage search engines from indexing this site」(阻擋搜尋引擎索引這個網站)會在每個頁面加上 noindex, nofollow 標記(WordPress Documentation: Settings Reading Screen)。網站改版後常常忘了取消勾選。否則就查看您的 SEO 外掛的單頁設定、網站佈景主題,或主機商的標頭規則。
- 從原始程式碼中刪除它,而不是用之後才執行的指令碼刪除(見上表中 JavaScript 那一列)。
- 確認 robots.txt 沒有封鎖該頁面。 Google 必須檢索頁面才能發現變更。
- 用網址審查工具要求 Google 重新檢索。 Google 表示,不這樣做的話,「it may take months for Googlebot to revisit a page」(Googlebot 可能要過幾個月才會再次造訪頁面)(Google Search Central: Block Search indexing with noindex)。
為了節省 Google 的檢索時間而加上 noindex 也沒用。Google 說「Don't use noindex」(不要使用 noindex),因為它仍會要求該頁面,然後再捨棄,「wasting crawling time」(浪費檢索時間)(Google Crawling Infrastructure: Optimize your crawl budget)。而且這項建議本來就是針對超大型網站的。
範例
以下為說明性案例。
一家屋頂公司的新 WordPress 網站
網站上線兩個月後,服務頁面一直沒有出現在 Google 上。檢視首頁原始碼,發現 `content='noindex, nofollow'`。開發人員沒有取消勾選「Discourage search engines」。取消勾選,再在網址審查工具中為五個主要頁面要求建立索引,就解決了。
一位會計師的價目表 PDF
這個 PDF 有排名,但價格變了,老闆想把它從 Google 上撤下。它的 HTML 放不了 meta 標記,所以主機商為這個檔案加上了 `X-Robots-Tag: noindex`。對 PDF 的網址執行 `curl -sI`,確認該標頭已傳送。
一家診所用 JavaScript 建置的預約頁面
一個線上檢查工具顯示「可建立索引」,但網址審查工具顯示不允許建立索引。頁面的初始程式碼帶有 noindex,載入後由指令碼刪除。Google 是依照原始程式碼處理的。從範本中刪除該標記就解決了。
常見問題
noindex 檢查工具和檢查頁面是否已建立索引是同一件事嗎?
不是。noindex 檢查工具告訴您頁面是否要求不被建立索引。沒有 noindex 的頁面仍可能因為其他原因不在 Google 上。網址審查工具會顯示實際的索引狀態。
nofollow 會阻止頁面被建立索引嗎?
不會。nofollow 告訴 Google 不要追蹤頁面上的連結。noindex 會讓頁面不出現在搜尋結果中,「none」也一樣,Google 把它視為 noindex 加 nofollow(Google Search Central: Robots meta tag specifications)。
可以把 noindex 寫在 robots.txt 裡嗎?
不可以。Google 表示「Specifying the noindex rule in the robots.txt file is not supported by Google」(Google 不支援在 robots.txt 檔案中指定 noindex 規則)(Google Search Central: Block Search indexing with noindex)。
刪除 noindex 後,頁面多久會回來?
要等 Google 再次檢索之後。在網址審查工具中要求重新檢索;Google 表示,不要求的話,再次造訪可能需要幾個月。
您的情況不同?
- 頁面沒有 noindex,但仍然不在 Google 上:網站在 Google 上搜尋不到。
- Search Console 顯示頁面未建立索引:已檢索或已發現,但目前未建立索引。
- 您還沒有設定 Search Console:小型企業如何使用 Google Search Console。
- 您想盡快讓某個頁面從 Google 上消失:從 Google 移除資訊。
- 您的架站平台讓程式碼很難修改:Wix 或 Squarespace 對 SEO 不好嗎?
- 您希望有人替您檢查索引情況:SEO 與 GEO 代理。