noindex 設錯:一個設定就能讓 Google 找不到您的網站
簡短回答 意外的 noindex 幾乎都來自一個忘了關的開關:WordPress 的「阻擋搜尋引擎索引這個網站」核取方塊、Wix 或 Squarespace 的隱藏開關、SEO 外掛的某項設定、原封不動上線的測試網站,或伺服器標頭。用 Search Console 的網址審查找出它,關掉,確認標記已消失,再要求建立索引。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話一個標記怎麼能隱藏整個網站?
noindex 是一條簡短的指令,告訴搜尋引擎「不要列出這個網頁」。它要不是寫在網頁程式碼裡(robots meta 標記),就是寫在伺服器隨網頁送出的回應裡(`X-Robots-Tag` 標頭)。Google 對兩者一視同仁。Google 一讀到它,網頁就消失了:
"Google will drop that page entirely from Google Search results, regardless of whether other sites link to it." (Google Search Central: Block Search indexing with noindex) 譯文:「無論是否有其他網站連結到該網頁,Google 都會將它從 Google 搜尋結果中完全移除。」
把這條指令放進共用範本,每個網頁都會帶著它。大多數老闆從沒親手輸入過它,是某個設定加上的。解決辦法就是找出是哪一個。
意外 noindex 的常見來源
| 位置 | 怎麼來的 | 怎麼復原 |
|---|---|---|
| WordPress,設定 → 閱讀 | 建站時勾選了「阻擋搜尋引擎索引這個網站」(Discourage search engines from indexing this site) | 取消勾選並儲存 |
| SEO 外掛(例如 Yoast) | 整個內容類型(例如「頁面」或「服務」)被設為不出現在搜尋中 | 把它的搜尋開關重新打開 |
| Wix 網站設定 | 「Let search engines index your site」(允許搜尋引擎索引您的網站)處於關閉狀態 | 在 SEO 設定中打開 |
| Wix 或 Squarespace 網頁設定 | 某個網頁被隱藏;在 Squarespace 上,隱藏部落格或商店頁面也會隱藏其中所有文章或商品 | 把該網頁的開關改回來 |
| 測試網站被當成正式網站上線 | 設計師在建站期間封鎖了 Google,封鎖跟著網站一起上線 | 在所有加過的地方移除 |
| 伺服器或主機標頭 | 伺服器設定裡有一條 `X-Robots-Tag: noindex` 規則,原本多半是給 PDF 或測試副本用的 | 請主機商或開發人員移除這條規則 |
| 貼到全站頁首的程式碼 | 有人在頁首程式碼欄位裡「暫時」加了一行 noindex | 從頁首程式碼中刪掉 |
WordPress:一個核取方塊
根據 WordPress 的說明文件,設定 → 閱讀下的「阻擋搜尋引擎索引這個網站」核取方塊,會在網站每個網頁加上 noindex, nofollow 標記。建站時它很方便,之後卻很容易忘記。訪客照樣能正常看到網站,所以看起來一切正常。
SEO 外掛:每個內容類型一個開關
Yoast 說明中心表示,一個設定就能讓整個內容類型、分類或標籤不出現在搜尋中;每篇文章的「進階」分頁還會問是否「Allow search engines to show this content in search results」(允許搜尋引擎在搜尋結果中顯示此內容)。選「否」就會加上 noindex。要檢查外掛的設定畫面,而不只是某一個網頁。
網站建置工具:隱藏開關
- Wix: SEO 設定下有全站的「Let search engines index your site」開關,每個網頁的 SEO 基本設定下還有「Let search engines index this page」(允許搜尋引擎索引此網頁)開關(Wix 說明中心)。
- Squarespace: 每個網頁的 SEO 分頁裡有「Hide page from search results」(在搜尋結果中隱藏網頁)開關。隱藏一個集合頁面(例如部落格或商店)也會隱藏其中每一項(Squarespace 說明中心)。設定 → 檢索器(Crawlers)下的全站「Block Search engine crawlers」(封鎖搜尋引擎檢索器)核取方塊不是 noindex;它加的是 robots.txt 封鎖,結果一樣。
- Shopify: 仍處於不公開(密碼)模式的商店,會對訪客和搜尋引擎隱藏所有網頁(Shopify 說明中心)。在 Shopify 管理介面進入「線上商店」,點選「不公開」,再選擇「公開」。
上線的測試網站
很多設計師在建站時封鎖 Google,這沒問題。錯在上線時沒把封鎖拿掉。Google 自己的網站遷移檢查清單正是針對這點提出警告:
"Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration." (Google Search Central: Site moves with URL changes) 譯文:「別忘了移除只在遷移期間需要的所有 noindex 或 robots.txt 封鎖。」
看不見的標頭
`X-Robots-Tag` 標頭從不出現在網頁程式碼裡,所以「檢視原始碼」看起來很乾淨,Google 卻仍被告知別來。Google 的規格說明示範了在伺服器檔案中設定它的例子,例如替網站上的每個 PDF 加上。如果網址審查說有 noindex,而您找不到標記,通常就是這個原因。
想用 JavaScript 移除它
有些網站在網頁裡帶著 noindex,等網頁載入後再用指令碼移除。這並不可靠:
"When Google encounters the noindex tag, it may skip rendering and JavaScript execution, which means using JavaScript to change or remove the robots meta tag from noindex may not work as expected." (Google Search Central: Understand JavaScript SEO basics) 譯文:「Google 遇到 noindex 標記時,可能會略過轉譯和 JavaScript 執行,也就是說,用 JavaScript 變更或移除 robots meta 標記中的 noindex,可能無法達到預期效果。」
如果某個網頁應該出現在 Google 上,原始網頁程式碼就不能寫 noindex。
怎麼檢查網站有沒有 noindex
- 在 Google 上搜尋 `site:yourdomain.com`。 一個舊網站結果很少或沒有結果,就是第一個警訊。
- 在 Search Console 中對首頁和一個服務頁面執行網址審查(URL Inspection)。 Google 建議用這個工具查看「the HTML that Googlebot received」(Googlebot 收到的 HTML)。如果 Google 發現了 noindex,它會直接寫出來。剛接觸 Search Console?先看該讀哪些報告。
- 打開網頁原始碼(按右鍵,檢視網頁原始碼),搜尋 `noindex`。寫著 `none` 的標記等同於 noindex 加 nofollow(Google 的 robots meta 標記規格)。
- 如果第 2 步和第 3 步結果不一致,檢查標頭。 在終端機執行 `curl -I https://yourdomain.com/` 會列出標頭;找找看有沒有 `X-Robots-Tag`。
- 打開網頁索引報告,看有多少網頁被列為因 noindex 而排除。如果清單裡有您希望被找到的網頁,就是設錯了。各狀態的意思:網頁索引狀態。
怎麼復原 noindex
- 從源頭關掉它:上表中的設定、外掛開關、標頭規則或程式碼行。
- 清除快取,包括主機、外掛或 CDN 的快取,讓舊版本不再被提供。
- 確認它已消失,用網址審查的即時測試,而不只是看網頁原始碼。
- 確定 robots.txt 沒有封鎖這些網頁。 Google 必須檢索網頁才能看到變更(Google Search Central: Block Search indexing with noindex)。
- 在網址審查中為最重要的網頁要求建立索引。 網頁多的話,改為提交 Sitemap。重複要求沒有用:
"Crawling can take anywhere from a few days to a few weeks." (Google Search Central: Ask Google to recrawl your URLs) 譯文:「檢索可能需要幾天到幾週不等。」
Google 還說,「requesting a recrawl multiple times for the same URL won't get it crawled any faster」(對同一個網址多次要求重新檢索,並不會讓它更快被檢索)(同一網頁)。
移除 noindex 能讓網頁重新被收錄,但不保證恢復原本的排名。網頁通常隨著 Google 重新檢索而陸續回來。為了下次及早發現,每次改版、安裝新外掛或換平台之後,都對首頁重新執行一次網址審查。
什麼時候該用 noindex?
noindex 適合對訪客有用、但對搜尋者沒幫助的網頁:預約後的感謝頁、網站自己的搜尋結果頁、測試副本。有兩件事它不適合:
- 隱私。 noindex 只是讓網頁不出現在搜尋中,並不能擋住人。WordPress 的說明文件講得很清楚,它的這個設定並不會阻止別人存取網站;「up to search engines to honor your request」(是否遵守您的要求取決於搜尋引擎)。私密網頁請用密碼或登入。
- 節省 Google 的時間。 Google 說不要為了檢索預算使用 noindex,因為它「will still request, but then drop the page」(仍會要求網頁,然後再捨棄)(Google Crawling Infrastructure: Optimize your crawl budget)。
範例
一位水電工的新 WordPress 網站
網站 3 月上線。到了 5 月,來自 Google 的電話沒了,`site:` 也搜不到任何結果。網址審查顯示每個網頁都有 noindex。原來「阻擋搜尋引擎索引這個網站」核取方塊從建站起就一直勾著。取消勾選並提交 Sitemap 後,網頁在接下來幾週陸續回來。
一家隱藏了部落格的美髮沙龍
老闆想在 Squarespace 上隱藏一個季節性促銷頁面,卻誤把部落格頁面的開關打開了。40 篇文章全部從 Google 消失。關掉開關並為部落格頁面要求建立索引後就恢復了。
一家網頁程式碼乾淨的律師事務所
網頁原始碼裡沒有 noindex,網址審查卻顯示有。事務所的開發人員曾為測試副本加了一條 `X-Robots-Tag: noindex` 伺服器規則,結果它也套用到了正式網域。移除這條規則就解決了。
常見問題
移除 noindex 後,網頁多久能回來?
隨著 Google 重新檢索而回來。Google 說檢索需要「a few days to a few weeks」(幾天到幾週),為重要網頁要求建立索引能讓它盡快開始。
noindex 會立刻移除網頁嗎?
不會。Google 會在下次檢索該網頁時將它移除;對於很少有網站連結的網頁,這可能要好幾個月(Google Search Central: Block Search indexing with noindex)。
可以把 noindex 寫在 robots.txt 裡嗎?
不行。「Specifying the noindex rule in the robots.txt file is not supported by Google」(Google 不支援在 robots.txt 檔案中指定 noindex 規則)(Google Search Central: Block Search indexing with noindex)。請使用網頁標記或標頭,而且不要在 robots.txt 中封鎖該網頁,否則 Google 永遠看不到這個標記。
noindex 和 nofollow 一樣嗎?
不一樣。noindex 讓網頁不出現在搜尋中。nofollow 告訴 Google 不要追蹤網頁上的連結。WordPress 的那個核取方塊兩者都會加上。
您的情況不同?
- 網站在 Google 上找不到,原因不明? 依完整清單逐項檢查:網站在 Google 上搜不到。
- 改版後流量立刻下滑? 遺留的 noindex 是幾個原因之一:網站改版後流量下滑。
- 在 Wix、Squarespace 和 WordPress 之間選擇? 各平台如何處理 SEO 設定:網站平台與 SEO。
- 想有人幫您盯著索引設定? 請看 /seo/。