產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

Robots.txt 與 noindex:每類頁面該用哪一個

更新於 · 閱讀約 8 分鐘

簡短回答 想讓頁面不出現在 Google 搜尋結果裡,用 noindex。robots.txt 只用來阻止 Google 檢索它不需要讀的頁面,例如無窮無盡的篩選或排序清單。同一個頁面不要兩者都用:robots.txt 的封鎖會讓 Google 看不到 noindex,光禿禿的網址仍可能出現在結果裡。私密頁面請用密碼保護。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

Robots.txt 還是 noindex:我需要哪一個?

依您想要的結果來選。robots.txt 控制 Google 的檢索器(讀取網頁的程式)是否造訪某個頁面;noindex 控制頁面是否出現在搜尋結果裡。Google 說得很直白,robots.txt 不是用來隱藏頁面的工具:

"This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central: Introduction to robots.txt) 譯文:「它主要用於避免請求過多導致網站超載;它不是讓網頁不出現在 Google 中的機制。」
您想要的結果用什麼原因
頁面不出現在 Google 搜尋結果中noindexGoogle 讀到這個標記後就會移除該頁面
讓 Google 別在近似重複的頁面(排序或篩選清單)上浪費造訪robots.txt DisallowGoogle 根本不會請求這些網址
只有客戶或員工看得到密碼(登入)robots.txt 和 noindex 只是請求;登入才是一把鎖
重複版本指向主版本canonical 標記處理重複頁面時,Google 比較推薦它而不是 noindex
一天內讓頁面從結果中消失Search Console 的「移除」工具,再加 noindex 或刪除頁面「移除」要求約持續 6 個月
讓圖片或影片不進 Googlerobots.txt DisallowGoogle 只會為它可以檢索的媒體建立索引

robots.txt 和 noindex 有什麼差別?

robots.txt 是放在網站根目錄的一個純文字檔(yourdomain.com/robots.txt)。裡面的規則告訴檢索器哪些網址不要請求。noindex 是放在單一頁面上的規則,可以是頁面程式碼裡的 meta 標記,也可以是伺服器隨檔案傳送的 HTTP 標頭。

最容易讓人出錯的差別:robots.txt 並不能讓頁面不進 Google。Google 讀不到這個頁面,但能從別處的連結得知它的網址。

"If other pages point to your page with descriptive text, Google could still index the URL without visiting the page." (Google Search Central: Introduction to robots.txt) 譯文:「如果其他頁面以描述性文字連結到您的頁面,Google 仍可能在不造訪該頁面的情況下將該網址編入索引。」

這樣的結果只顯示您的網址,沒有說明。noindex 則會把頁面完全移除,即使有其他網站連結到它,前提是 Google 讀得到這個頁面:

"When Googlebot crawls that page and extracts the tag or header, Google will drop that page entirely from Google Search results, regardless of whether other sites link to it." (Google Search Central: Block Search indexing with noindex) 譯文:「當 Googlebot 檢索該頁面並擷取到該標記或標頭時,Google 會將該頁面從 Google 搜尋結果中完全移除,無論是否有其他網站連結到它。」

兩者都不是安全措施。Google 表示,是否遵守 robots.txt 由每個檢索器自行決定,而 noindex 只對支援它的搜尋引擎有效。任何拿到連結的人仍然可以開啟頁面。

哪些頁面用 noindex、robots.txt,或都不用?

大多數小型企業網站這兩樣都用得很少。以下是老闆們常問的頁面該怎麼處理。

頁面用什麼說明
感謝頁或預約確認頁noindex搜尋者在流程中途落到這裡沒有意義,還可能灌水您的潛在客戶數量
照抄服務頁的廣告到達網頁noindex,或不用管廣告照常放送;Google 的廣告檢索器(AdsBot)會另外檢查頁面
網站本身的站內搜尋結果(/?s=plumber)robots.txt Disallow無窮無盡的近似重複頁面;Google 的檢索預算指南就以排序版本為例
商店或清單的篩選與排序robots.txt Disallow同樣的原因;只有數量很多時才值得做
後台或登入頁不用管,或 noindex本來就有密碼保護;寫一行 Disallow 反而暴露了路徑
客戶入口網站、發票、客戶資料檔案密碼兩種工具都擋不住人
網站的測試版或預備環境副本密碼,或每個頁面都加 noindex只用 Disallow 可能讓它的網址留在結果中
同一服務頁的兩個版本指向主頁面的 canonical 標記Google 不建議在這種情況下用 noindex
已停止服務的舊頁面刪除(404)或重新導向比留著一個隱藏頁面更好
不想出現在結果中的 PDF 價目表以 HTTP 標頭傳送 noindexPDF 沒有頁面程式碼,放不了 meta 標記
標籤、作者或日期封存頁內容單薄就加 noindex可選;很多小網站不管它們
有排名、能帶來潛在客戶的頁面都不用檢查一下有沒有誤封鎖

關於重複頁面,Google 的 canonical 指南表示不建議用 noindex 來選主版本,"because it will completely block the page from Search"(因為它會把頁面從搜尋中完全封鎖)。關於廣告頁:Google 把 AdsBot 列為特殊檢索器,它會忽略寫給所有檢索器的 robots.txt 規則(User-agent: *),所以全站 Disallow 擋不住它。如果您寫了一條專門針對 AdsBot 的規則,Google 表示這條規則會影響 Google Ads 檢查您頁面品質的方式。

為什麼不要在同一個頁面上同時使用兩者

因為 robots.txt 的封鎖優先,noindex 永遠不會被看到。Google 只有在檢索頁面時才會讀取頁面上的規則:

"If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving rules will not be found and will therefore be ignored." (Google Search Central: Robots meta tag specifications) 譯文:「如果某個頁面透過 robots.txt 檔案被禁止檢索,那麼任何有關建立索引或放送規則的資訊都不會被找到,因此會被忽略。」

要把已經在 Google 中的頁面從結果裡移除:

  1. 確認 robots.txt 沒有封鎖它。
  2. 為頁面加上 noindex。
  3. 在 Search Console 中用「網址審查」工具請 Google 重新檢索。否則 Google 表示重新檢索可能要好幾個月。
  4. 保持頁面可被檢索。頁面從結果中消失後,保留 noindex,不要再加 Disallow;之後再封鎖會讓 noindex 被隱藏。

想更快消失?Google 的「移除」工具能在一天內隱藏結果,但要求只持續約 6 個月。保留 noindex、加上密碼或刪除頁面,它才會一直消失。

怎麼加上 noindex 或 robots.txt 規則?

先看您架站工具的設定。Google 自己也建議 Wix、WordPress 和 Blogger 使用者使用平台的搜尋設定,而不是修改程式碼。在設定裡搜尋「對搜尋引擎隱藏頁面」之類的選項:這個開關會幫您加上 noindex。

如果您修改程式碼,noindex 就是頁面 head 區段的一行:一個 name="robots"、content="noindex" 的 meta 標記。對於沒有頁面程式碼的檔案(例如 PDF),則由伺服器傳送 X-Robots-Tag: noindex 標頭。Google 表示這兩種方法效果相同。在 robots.txt 裡寫「noindex」沒有任何作用;Google 不支援。

一條 robots.txt 規則只需要兩行。要讓所有檢索器都不檢索您的站內搜尋結果:

行意思
User-agent: *下面的規則適用於所有檢索器
Disallow: /search/不要請求任何以 /search/ 開頭的網址

規則區分大小寫,檔案必須放在網域根目錄。在 Search Console 裡檢查:robots.txt 報告顯示 Google 擷取到的檔案,「網址審查」顯示頁面是否被封鎖或帶有 noindex。

WordPress 自己的歷史就反映了這個轉變。它的「阻擋搜尋引擎索引這個網站」選項過去會在 robots.txt 裡加上 Disallow: /(封鎖一切);從 5.3 版起,改為加上 noindex, nofollow 標記(WordPress Documentation: Settings Reading Screen)。如果正式網站勾選了這個選項,請取消勾選。

小型企業網站需要擔心檢索預算嗎?

幾乎不用。檢索預算是 Google 分配給一個網站的檢索量。Google 的指南針對的是約 100 萬個以上頁面且每週變動的網站,或 1 萬個以上頁面且每天變動的網站。對於較小的網站:

"For Google Search specifically, keeping your sitemap up to date and checking the Page Indexing report regularly is adequate." (Google Crawling Infrastructure: Optimize your crawl budget) 譯文:「就 Google 搜尋而言,保持 Sitemap 最新並定期查看網頁索引報告就已足夠。」

對於大型網站,這份指南反轉了一般的建議:為了節省檢索,用 robots.txt 封鎖近似重複的頁面,而不要依賴 noindex,因為 Google 仍然要請求頁面才能看到 noindex。這就是上表中篩選和排序歸在 robots.txt 那一列的原因。

範例

以下為示意案例,數字為虛構。

一家牙醫診所的確認頁(美元)

診所在 Google Ads 上每次點擊付 $40。它的「/booking-confirmed」頁面出現在 Google 中,有些訪客直接落到這裡,於是分析工具統計到從未發生的預約。為這個頁面加上 noindex,robots.txt 不動,重新檢索後頁面就從結果中消失了。

一家園藝造景公司的測試網站(加幣)

網頁設計師在 staging.example.ca 上做了一個 C$6,000 的改版,並在 robots.txt 裡用 Disallow: / 封鎖。幾週後,測試網站首頁出現在 Google 中,沒有說明,因為一家供應商連結了它。解決辦法:為測試網站加上密碼。新網站上線時,設計師複製正式網站的 robots.txt,而不是測試網站的,這樣正式網站就不會被封鎖。

常見問題

robots.txt 封鎖能把已經在 Google 中的頁面移除嗎?

不能。Google 表示被封鎖的網址可能留在結果中,只是沒有說明。請用 noindex,並保持頁面可被檢索,直到它從結果中消失。

noindex 會阻止 Google 追蹤頁面上的連結嗎?

單靠它不會。Google 表示,沒有 nofollow 規則時,它可能會用頁面上的連結去發現其他頁面。

robots.txt 能隱藏我的後台或客戶頁面嗎?

不能。它是任何人都能讀的公開檔案,檢索器遵不遵守全憑自願。私密內容請用登入保護。

noindex 多久生效?

要等 Google 再次檢索這個頁面。Google 表示,不太重要的頁面可能要好幾個月。您可以在「網址審查」中要求重新檢索。

noindex 會傷害網站的其他部分嗎?

不會。它只影響帶有它的那個頁面。Google 甚至指出,把低品質頁面編入索引可能會影響網站的排名。

您的情況不同?

繼續閱讀

下一篇XML 網站地圖與 HTML 網站地圖:各自對 SEO 有什麼用XML 與 HTML 網站地圖:分別給誰看、Google 和 Bing 怎麼說,以及小型企業網站需要其中一個、另一個,還是兩個都要。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Search Central: Introduction to robots.txt
  2. Google Search Central: Block Search indexing with noindex
  3. Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
  4. Google Search Central: Control what you share with Google Search
  5. Google Search Central: Remove a page hosted on your site from Google
  6. Google Search Central: How to specify a canonical URL with rel="canonical" and other methods
  7. Google Crawling Infrastructure: Optimize your crawl budget
  8. Google Crawling Infrastructure: How to write and submit a robots.txt file
  9. Google Crawling Infrastructure: Google's special-case crawlers
  10. WordPress Documentation: Settings Reading Screen