robots.txt 設定:一步步建立、上傳和測試檔案
簡短回答 用任何純文字編輯器撰寫 robots.txt,加一行 User-agent 和您的 Allow 或 Disallow 規則,然後放在網域根目錄,例如 example.com/robots.txt。在無痕視窗中開啟這個網址,再到 Search Console 的 robots.txt 報告中檢查。大多數小型網站只需要三行,或者根本不需要自訂檔案。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話如何建立 robots.txt 檔案:四個步驟
Google 的文件把這項工作分成四步:建立檔案、新增規則、上傳到網站根目錄、測試(Google Crawling Infrastructure: How to write and submit a robots.txt file)。
| 步驟 | 做什麼 | 容易出錯的地方 |
|---|---|---|
| 1. 建立 | 開啟記事本(Notepad)或 TextEdit,以 UTF-8 編碼儲存為 robots.txt | 文書處理軟體會加入彎引號和隱藏格式 |
| 2. 新增規則 | 一行 User-agent,然後是 Allow 或 Disallow 行 | 一行多餘的「Disallow: /」會擋住整個網站 |
| 3. 上傳 | 放在網域的最上層 | 放在子資料夾裡的檔案會被忽略 |
| 4. 測試 | 在無痕視窗中開啟,再檢查 Search Console | 測試了錯誤的版本(http 與 https,有 www 與沒有) |
先確認您是否需要做任何事。沒有 robots.txt 檔案時,檢索器可以造訪所有內容:Google 表示,除非檔案另有規定,「all files are implicitly allowed for crawling」(所有檔案都預設允許檢索)。很多架站工具也會替您產生這個檔案。
robots.txt 檔案應該包含什麼?
對大多數服務型企業網站來說,三行就夠了。這也是 Google 自己的簡單範例用的格式:
| 行 | 意思 |
|---|---|
| User-agent: * | 下面的規則適用於所有檢索器 |
| Allow: / | 所有頁面都可以檢索 |
| Sitemap: https://www.example.com/sitemap.xml | 您的頁面清單所在位置 |
只為在搜尋中沒有價值的頁面加 Disallow 行,例如站內搜尋結果頁或結帳頁。Google 規範中重要的規則:
- 每組規則以 User-agent 開頭。 它指明是哪個機器人。星號代表所有機器人,但有一個例外:它不包括 Google 的 AdsBot 檢索器,這些檢索器「must be named explicitly」(必須明確寫出名稱)。
- 路徑以斜線開頭。 資料夾也以斜線結尾:Disallow: /checkout/。
- 路徑區分大小寫。 Google 的例子:針對 /file.asp 的規則不適用於 /FILE.asp。
- 較具體的規則優先。 當 Allow 和 Disallow 同時符合時,Google 採用路徑較長的那條;長度相同時,採用「the least restrictive rule」(限制最少的規則)。
- 兩種萬用字元。 星號符合任意字元;錢字號代表 URL 結尾。Google 的例子 Disallow: /*.gif$ 會阻止檢索所有 GIF。
- Sitemap 需要完整網址,包括 https://,如果您用 www 也要加上。
- # 開始一則註解。 檢索器會忽略這一行後面的內容。
Google 只讀取四個欄位:user-agent、allow、disallow 和 sitemap。它表示「other fields such as crawl-delay aren't supported」(不支援 crawl-delay 等其他欄位)。有些其他檢索器會讀取 crawl-delay,但它不會讓 Google 放慢速度。
robots.txt 檔案放在哪裡?
放在訪客實際使用的那個主機的根目錄:https://www.example.com/robots.txt。Google 對此要求很嚴格:
"The robots.txt file must be located at the root of the site host to which it applies." (Google Crawling Infrastructure: How to write and submit a robots.txt file) 譯文:「robots.txt 檔案必須位於其所適用的網站主機的根目錄。」
每個主機都需要自己的檔案。https://example.com/robots.txt 中的規則不適用於 shop.example.com 這樣的子網域,而且每個主機只能有一個 robots.txt。如果您無法存取網站根目錄,Google 建議詢問您的主機商,或改用頁面層級的 meta 標記。
如何在 WordPress、Shopify 或 Wix 上編輯 robots.txt
大多數網站經營者從不手動上傳檔案。平台要麼自動產生一個,要麼提供編輯器。
| 平台 | 預設情況 | 如何修改 |
|---|---|---|
| WordPress(自行架設) | WordPress 提供一個虛擬檔案,擋住後台管理區 | Yoast SEO:工具(Tools),然後檔案編輯器(File Editor)。或者把真實的 robots.txt 上傳到網站根目錄;只有在沒有真實檔案時,WordPress 才顯示虛擬檔案(Yoast SEO Help) |
| Shopify | 預設檔案「works for most stores」(適用於大多數商店) | 線上商店(Online Store)、佈景主題、編輯程式碼(Edit code)、新增範本(Add a new template)、robots。Shopify 客服不協助修改 |
| Wix | 預設所有頁面都對機器人開放 | SEO & GEO 資訊主頁、工具和設定(Tools and settings)、Robots.txt 編輯器(Robots.txt Editor)。「重設為預設值」(Reset to Default)按鈕可復原修改 |
| 其他架站工具 | 各不相同 | Google 指出有些主機不允許編輯這個檔案;可以找找搜尋能見度設定 |
來源:WordPress Developer Resources (do_robots)、Yoast SEO Help、Shopify Help Center、Wix Help Center。
WordPress 有一個細節常讓人出錯。「Discourage search engines」(阻止搜尋引擎索引這個網站)選項已不再往 robots.txt 裡加「Disallow: /」。從 WordPress 5.3 起,它改為在頁面中加入 noindex meta 標記(WordPress Developer Resources: do_robots)。所以如果您的網站從 Google 上消失了,除了檢查檔案,也要檢查這個選項。
Shopify 警告說,錯誤的修改「can result in loss of all traffic」(可能導致失去全部流量)。請編輯範本,而不是用純文字取代它,這樣 Shopify 才能持續更新它的預設規則。
如何測試 robots.txt 檔案?
分三輪測試,從最簡單到最精確。
- 在瀏覽器無痕視窗中開啟 yourdomain.com/robots.txt。如果能看到您的規則,表示檔案是公開的。使用訪客實際看到的那個版本(https,有或沒有 www);每個版本都是獨立的主機,有各自的檔案。
- Search Console 的 robots.txt 報告。 Google 指定它為修正 robots.txt 問題的地方,適用於已經在網站上線的檔案。裡面有 Google 持有的檔案副本,以及「要求重新檢索」(Request a recrawl)按鈕。設定方式見 小型企業如何使用 Google Search Console。
- 用 Bing 的 robots.txt 測試工具檢查單一頁面。 在 Bing Webmaster Tools 中輸入一個 URL,工具會模擬 Bingbot 的行為,顯示這個 URL 是允許還是被擋住(Bing Blog, September 2020)。您可以在工具裡修改規則並重新測試,然後再上傳。
Google 多久能看到我的修改?
最多大約一天。Google「generally caches the contents of robots.txt file for up to 24 hours」(通常會把 robots.txt 檔案內容快取最多 24 小時),如果無法取得新副本,時間會更長(Google: robots.txt specification)。如需緊急修正,robots.txt 報告中有「要求重新檢索」選項(Google Crawling Infrastructure: Update your robots.txt file)。
伺服器的回應和檔案本身一樣重要:
| 伺服器回傳 | Google 的做法 |
|---|---|
| 200 並回傳檔案 | 遵循規則 |
| 404 或其他 4xx(429 除外) | 視為沒有檔案:檢索所有內容 |
| 5xx 錯誤 | 停止檢索 12 小時,然後在最多 30 天內使用最後一份正常副本 |
| 超過五次重新導向 | 視為 404 |
Google 會忽略超過 500 KiB(kibibyte)的部分,這遠超過小型網站的實際需要。
robots.txt 常見錯誤
- 架站時留下的「Disallow: /」。 它會對所指定的機器人擋住所有頁面。網站在 Google 上搜不到時,先檢查這一點;見 網站在 Google 上搜不到。
- 用 Disallow 隱藏頁面。 Google 表示,被擋住的頁面「can still be indexed if linked to from other sites」(如果有其他網站連結到它,仍可能被建立索引)。請改用 noindex 或密碼保護,而且不要擋住帶 noindex 的頁面,否則 Google 永遠讀不到這個標記。
- 擋住頁面需要的 CSS 或指令碼檔案。 如果這讓 Google 的檢索器更難理解頁面,Google 會警告不要這樣做。
- 把它當作安全措施。 IETF 標準指出,這些規則「are not a form of access authorization」(不是一種存取授權方式)。惡意機器人可以無視它們。
- 誤擋 AI 搜尋機器人,而您原本只想擋住訓練用的機器人。見 是否應該封鎖 AI 檢索器?
範例
一家使用 WordPress 的清潔公司
網站顯示的是 WordPress 產生的虛擬檔案:後台管理區被擋住,其他全部開放。老闆透過 Yoast 的檔案編輯器加了一行 Sitemap,在無痕視窗中開啟檔案,Search Console 報告中沒有發現錯誤。總共用時:10 分鐘。
一個從未出現在 Google 上的新園藝造景網站
開發人員在架站時留下了「User-agent: *」和「Disallow: /」。老闆刪除 Disallow 這一行,點擊「要求重新檢索」,Google 在一天內取得了新檔案。
一家有站內搜尋頁的 Shopify 商店
檢索器抓取了數千個搜尋結果 URL。商店在 robots.txt.liquid 中為該路徑加了一條 Disallow 規則,然後用 Bing 的測試工具檢查一個產品 URL 和一個搜尋 URL:產品頁允許,搜尋頁被擋住。
常見問題
我到底需不需要 robots.txt 檔案?
不需要。沒有它,檢索器可以造訪每個頁面,這正是大多數小型企業想要的。不過如果您想列出網站地圖,或不讓機器人進入結帳等頁面,有一個檔案還是有幫助的。
可以把 robots.txt 提交給 Google 嗎?
沒有什麼需要提交。Google 會自己在網域根目錄找到這個檔案;只有在修改後需要盡快生效時,才在 robots.txt 報告中使用「要求重新檢索」。
robots.txt 能把頁面從 Google 上移除嗎?
不能。它阻止的是檢索,不是索引,所以被擋住的 URL 仍可能顯示出來,只是沒有說明。要移除頁面,請使用 noindex,或按照 從 Google 移除資訊 中的步驟操作。
robots.txt 檔案最大可以多大?
Google 讀取前 500 KiB,忽略其餘部分。IETF 標準把這個大小定為任何檢索器至少必須讀取的量。
Google 會遵循 crawl-delay 嗎?
不會。Google 把 crawl-delay 列為不支援。如果 Googlebot 讓您的伺服器負載過重,Google 會引導您參考它另外的降低檢索頻率指南。
您的情況不同?
- Search Console 顯示「已遭 robots.txt 封鎖」或「已檢索 - 目前尚未建立索引」:Search Console 中頁面未建立索引。
- 您希望 ChatGPT 和 Perplexity 能找到您,但不想讓它們用您的頁面訓練:是否應該封鎖 AI 檢索器?
- 您的平台不允許編輯這個檔案,您在考慮換平台:Wix 或 Squarespace 對 SEO 不好嗎?
- 您更希望有人幫您設定並檢查檢索和索引:SEO 與 GEO 代理。