產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

robots.txt 設定:一步步建立、上傳和測試檔案

更新於 · 閱讀約 7 分鐘

簡短回答 用任何純文字編輯器撰寫 robots.txt,加一行 User-agent 和您的 Allow 或 Disallow 規則,然後放在網域根目錄,例如 example.com/robots.txt。在無痕視窗中開啟這個網址,再到 Search Console 的 robots.txt 報告中檢查。大多數小型網站只需要三行,或者根本不需要自訂檔案。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

如何建立 robots.txt 檔案:四個步驟

Google 的文件把這項工作分成四步:建立檔案、新增規則、上傳到網站根目錄、測試(Google Crawling Infrastructure: How to write and submit a robots.txt file)。

步驟做什麼容易出錯的地方
1. 建立開啟記事本(Notepad)或 TextEdit,以 UTF-8 編碼儲存為 robots.txt文書處理軟體會加入彎引號和隱藏格式
2. 新增規則一行 User-agent,然後是 Allow 或 Disallow 行一行多餘的「Disallow: /」會擋住整個網站
3. 上傳放在網域的最上層放在子資料夾裡的檔案會被忽略
4. 測試在無痕視窗中開啟,再檢查 Search Console測試了錯誤的版本(http 與 https,有 www 與沒有)

先確認您是否需要做任何事。沒有 robots.txt 檔案時,檢索器可以造訪所有內容:Google 表示,除非檔案另有規定,「all files are implicitly allowed for crawling」(所有檔案都預設允許檢索)。很多架站工具也會替您產生這個檔案。

robots.txt 檔案應該包含什麼?

對大多數服務型企業網站來說,三行就夠了。這也是 Google 自己的簡單範例用的格式:

行意思
User-agent: *下面的規則適用於所有檢索器
Allow: /所有頁面都可以檢索
Sitemap: https://www.example.com/sitemap.xml您的頁面清單所在位置

只為在搜尋中沒有價值的頁面加 Disallow 行,例如站內搜尋結果頁或結帳頁。Google 規範中重要的規則:

  • 每組規則以 User-agent 開頭。 它指明是哪個機器人。星號代表所有機器人,但有一個例外:它不包括 Google 的 AdsBot 檢索器,這些檢索器「must be named explicitly」(必須明確寫出名稱)。
  • 路徑以斜線開頭。 資料夾也以斜線結尾:Disallow: /checkout/。
  • 路徑區分大小寫。 Google 的例子:針對 /file.asp 的規則不適用於 /FILE.asp。
  • 較具體的規則優先。 當 Allow 和 Disallow 同時符合時,Google 採用路徑較長的那條;長度相同時,採用「the least restrictive rule」(限制最少的規則)。
  • 兩種萬用字元。 星號符合任意字元;錢字號代表 URL 結尾。Google 的例子 Disallow: /*.gif$ 會阻止檢索所有 GIF。
  • Sitemap 需要完整網址,包括 https://,如果您用 www 也要加上。
  • # 開始一則註解。 檢索器會忽略這一行後面的內容。

Google 只讀取四個欄位:user-agent、allow、disallow 和 sitemap。它表示「other fields such as crawl-delay aren't supported」(不支援 crawl-delay 等其他欄位)。有些其他檢索器會讀取 crawl-delay,但它不會讓 Google 放慢速度。

robots.txt 檔案放在哪裡?

放在訪客實際使用的那個主機的根目錄:https://www.example.com/robots.txt。Google 對此要求很嚴格:

"The robots.txt file must be located at the root of the site host to which it applies." (Google Crawling Infrastructure: How to write and submit a robots.txt file) 譯文:「robots.txt 檔案必須位於其所適用的網站主機的根目錄。」

每個主機都需要自己的檔案。https://example.com/robots.txt 中的規則不適用於 shop.example.com 這樣的子網域,而且每個主機只能有一個 robots.txt。如果您無法存取網站根目錄,Google 建議詢問您的主機商,或改用頁面層級的 meta 標記。

如何在 WordPress、Shopify 或 Wix 上編輯 robots.txt

大多數網站經營者從不手動上傳檔案。平台要麼自動產生一個,要麼提供編輯器。

平台預設情況如何修改
WordPress(自行架設)WordPress 提供一個虛擬檔案,擋住後台管理區Yoast SEO:工具(Tools),然後檔案編輯器(File Editor)。或者把真實的 robots.txt 上傳到網站根目錄;只有在沒有真實檔案時,WordPress 才顯示虛擬檔案(Yoast SEO Help)
Shopify預設檔案「works for most stores」(適用於大多數商店)線上商店(Online Store)、佈景主題、編輯程式碼(Edit code)、新增範本(Add a new template)、robots。Shopify 客服不協助修改
Wix預設所有頁面都對機器人開放SEO & GEO 資訊主頁、工具和設定(Tools and settings)、Robots.txt 編輯器(Robots.txt Editor)。「重設為預設值」(Reset to Default)按鈕可復原修改
其他架站工具各不相同Google 指出有些主機不允許編輯這個檔案;可以找找搜尋能見度設定

來源:WordPress Developer Resources (do_robots)、Yoast SEO Help、Shopify Help Center、Wix Help Center。

WordPress 有一個細節常讓人出錯。「Discourage search engines」(阻止搜尋引擎索引這個網站)選項已不再往 robots.txt 裡加「Disallow: /」。從 WordPress 5.3 起,它改為在頁面中加入 noindex meta 標記(WordPress Developer Resources: do_robots)。所以如果您的網站從 Google 上消失了,除了檢查檔案,也要檢查這個選項。

Shopify 警告說,錯誤的修改「can result in loss of all traffic」(可能導致失去全部流量)。請編輯範本,而不是用純文字取代它,這樣 Shopify 才能持續更新它的預設規則。

如何測試 robots.txt 檔案?

分三輪測試,從最簡單到最精確。

  1. 在瀏覽器無痕視窗中開啟 yourdomain.com/robots.txt。如果能看到您的規則,表示檔案是公開的。使用訪客實際看到的那個版本(https,有或沒有 www);每個版本都是獨立的主機,有各自的檔案。
  2. Search Console 的 robots.txt 報告。 Google 指定它為修正 robots.txt 問題的地方,適用於已經在網站上線的檔案。裡面有 Google 持有的檔案副本,以及「要求重新檢索」(Request a recrawl)按鈕。設定方式見 小型企業如何使用 Google Search Console。
  3. 用 Bing 的 robots.txt 測試工具檢查單一頁面。 在 Bing Webmaster Tools 中輸入一個 URL,工具會模擬 Bingbot 的行為,顯示這個 URL 是允許還是被擋住(Bing Blog, September 2020)。您可以在工具裡修改規則並重新測試,然後再上傳。

Google 多久能看到我的修改?

最多大約一天。Google「generally caches the contents of robots.txt file for up to 24 hours」(通常會把 robots.txt 檔案內容快取最多 24 小時),如果無法取得新副本,時間會更長(Google: robots.txt specification)。如需緊急修正,robots.txt 報告中有「要求重新檢索」選項(Google Crawling Infrastructure: Update your robots.txt file)。

伺服器的回應和檔案本身一樣重要:

伺服器回傳Google 的做法
200 並回傳檔案遵循規則
404 或其他 4xx(429 除外)視為沒有檔案:檢索所有內容
5xx 錯誤停止檢索 12 小時,然後在最多 30 天內使用最後一份正常副本
超過五次重新導向視為 404

Google 會忽略超過 500 KiB(kibibyte)的部分,這遠超過小型網站的實際需要。

robots.txt 常見錯誤

  • 架站時留下的「Disallow: /」。 它會對所指定的機器人擋住所有頁面。網站在 Google 上搜不到時,先檢查這一點;見 網站在 Google 上搜不到。
  • 用 Disallow 隱藏頁面。 Google 表示,被擋住的頁面「can still be indexed if linked to from other sites」(如果有其他網站連結到它,仍可能被建立索引)。請改用 noindex 或密碼保護,而且不要擋住帶 noindex 的頁面,否則 Google 永遠讀不到這個標記。
  • 擋住頁面需要的 CSS 或指令碼檔案。 如果這讓 Google 的檢索器更難理解頁面,Google 會警告不要這樣做。
  • 把它當作安全措施。 IETF 標準指出,這些規則「are not a form of access authorization」(不是一種存取授權方式)。惡意機器人可以無視它們。
  • 誤擋 AI 搜尋機器人,而您原本只想擋住訓練用的機器人。見 是否應該封鎖 AI 檢索器?

範例

一家使用 WordPress 的清潔公司

網站顯示的是 WordPress 產生的虛擬檔案:後台管理區被擋住,其他全部開放。老闆透過 Yoast 的檔案編輯器加了一行 Sitemap,在無痕視窗中開啟檔案,Search Console 報告中沒有發現錯誤。總共用時:10 分鐘。

一個從未出現在 Google 上的新園藝造景網站

開發人員在架站時留下了「User-agent: *」和「Disallow: /」。老闆刪除 Disallow 這一行,點擊「要求重新檢索」,Google 在一天內取得了新檔案。

一家有站內搜尋頁的 Shopify 商店

檢索器抓取了數千個搜尋結果 URL。商店在 robots.txt.liquid 中為該路徑加了一條 Disallow 規則,然後用 Bing 的測試工具檢查一個產品 URL 和一個搜尋 URL:產品頁允許,搜尋頁被擋住。

常見問題

我到底需不需要 robots.txt 檔案?

不需要。沒有它,檢索器可以造訪每個頁面,這正是大多數小型企業想要的。不過如果您想列出網站地圖,或不讓機器人進入結帳等頁面,有一個檔案還是有幫助的。

可以把 robots.txt 提交給 Google 嗎?

沒有什麼需要提交。Google 會自己在網域根目錄找到這個檔案;只有在修改後需要盡快生效時,才在 robots.txt 報告中使用「要求重新檢索」。

robots.txt 能把頁面從 Google 上移除嗎?

不能。它阻止的是檢索,不是索引,所以被擋住的 URL 仍可能顯示出來,只是沒有說明。要移除頁面,請使用 noindex,或按照 從 Google 移除資訊 中的步驟操作。

robots.txt 檔案最大可以多大?

Google 讀取前 500 KiB,忽略其餘部分。IETF 標準把這個大小定為任何檢索器至少必須讀取的量。

Google 會遵循 crawl-delay 嗎?

不會。Google 把 crawl-delay 列為不支援。如果 Googlebot 讓您的伺服器負載過重,Google 會引導您參考它另外的降低檢索頻率指南。

您的情況不同?

繼續閱讀

下一篇會讓 Google 無法檢索網站的 robots.txt 錯誤,以及修正方法這些 robots.txt 錯誤會悄悄把網站藏起來:遺留的測試站封鎖、被封鎖的 CSS、範圍過寬的萬用字元、無效的規則。教您逐一找出並修正。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Crawling Infrastructure: How to write and submit a robots.txt file
  2. Google Crawling Infrastructure: How Google interprets the robots.txt specification
  3. Google Crawling Infrastructure: Update your robots.txt file
  4. Google Crawling Infrastructure: Useful robots.txt rules
  5. Google Search Central: Block Search indexing with noindex
  6. Google Search Central: Introduction to robots.txt
  7. RFC 9309: Robots Exclusion Protocol (IETF, September 2022)
  8. Bing Blog: Bing Webmaster Tools makes it easy to edit and verify your robots.txt (September 2020)
  9. WordPress Developer Resources: do_robots()
  10. Yoast SEO Help: How to edit robots.txt through Yoast SEO
  11. Shopify Help Center: Editing robots.txt.liquid
  12. Wix Help Center: Editing your site's robots.txt file