Robots.txt 是什麼:怎麼運作,又做不到什麼
簡短回答 Robots.txt 是放在 yoursite.com/robots.txt 的純文字檔,告訴檢索器哪些網址可以造訪。它控制的是檢索,不是索引:Google 明確表示它不是讓網頁不出現在搜尋中的方法。它是請求,不是門鎖:私密網頁需要密碼,不想出現在 Google 的網頁要用 noindex。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話robots.txt 檔案是什麼
它是一個放在網域根目錄的簡短文字檔,例如 example.com/robots.txt,告訴搜尋引擎檢索器(抓取網頁的程式,例如 Googlebot)網站的哪些部分可以造訪。任何人都能查看,包括您自己:在瀏覽器輸入您的網域加上 /robots.txt 即可。
它真正的用途是管理檢索器流量。Google 搜尋中心把界線說得很清楚:
"This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central: Introduction to robots.txt) 譯文:「它主要用於避免您的網站因請求過多而超載;它不是讓網頁不出現在 Google 中的機制。」
這個格式由來已久。Martijn Koster 在 1994 年制定了它,網際網路工程任務組(IETF)在 2022 年 9 月將它發布為標準軌道文件 RFC 9309(RFC 9309)。
robots.txt 檔案長什麼樣子?
只有幾行,每行是欄位名稱、冒號和值。以下是典型小型企業的檔案,逐行說明:
| 行 | 意思 |
|---|---|
| User-agent: * | 以下規則適用於所有檢索器 |
| Disallow: /cart/ | 不要抓取路徑以 /cart/ 開頭的任何內容 |
| Disallow: /*?sort= | 不要抓取清單頁依排序產生的副本 |
| Allow: /cart/help | 這一頁例外,可以抓取 |
| Sitemap: https://example.com/sitemap.xml | 您的網頁清單所在位置 |
Google 只讀取四個欄位;其他欄位(例如 crawl-delay)一律忽略(Google: robots.txt specification):
| 欄位 | 含義 | 說明 |
|---|---|---|
| user-agent | 這組規則針對哪個檢索器 | * 代表任何檢索器 |
| disallow | 檢索器不應抓取的路徑 | 沒有路徑的 disallow 什麼也不封鎖 |
| allow | 可以抓取的路徑,即使位於被封鎖的資料夾內 | 用來設定例外 |
| sitemap | Sitemap 的完整網址 | 適用於所有檢索器;可以列出多個 |
可以封鎖圖片、指令碼或樣式檔案,但 Google 提醒不要封鎖它理解網頁所需的那些檔案(Google Search Central)。
以 # 開頭的行是註解,檢索器會略過,適合註明某條規則為什麼存在。如果一條規則都沒有,整個網站都可以被檢索(Google: robots.txt specification)。
規則如何比對網頁?
每條規則都和網頁路徑(網址中網域之後的部分)的開頭比對。有三個細節最容易出錯(Google: robots.txt specification):
- 路徑區分大小寫,並以 / 開頭。 Disallow: /fish 會封鎖 /fish.html 和 /fishheads,但不會封鎖 /Fish.asp 或 /catfish。
- 只有兩種萬用字元。 * 代表任意一串字元,$ 代表網址結尾。不支援規則運算式(程式設計師在別處使用的模式比對語法)。
- 比對最長的規則優先。 如果 allow 和 disallow 比對長度相同,Google 會選擇限制較少的那條,也就是 allow。
| 規則 | 封鎖 | 不封鎖 |
|---|---|---|
| Disallow: / | 整個網站 | 無 |
| Disallow: /fish/ | /fish/salmon.htm | /fish.html、/animals/fish/ |
| Disallow: /*.pdf$ | /menu.pdf | /menu.pdf?v=2 |
| Disallow: | 無(空規則) | 全部 |
哪個檢索器遵守哪些規則?
每個檢索器只遵守一組規則:最具體點名它的那一組。Google 表示「Other groups are ignored」(其他群組會被忽略)(Google: robots.txt specification)。所以如果您新增了 User-agent: Googlebot 群組,Googlebot 就完全不再讀取您的 User-agent: * 群組。共用的規則也要複製到 Googlebot 群組裡。各群組在檔案中的順序無關緊要。
robots.txt 做不到什麼
大多數老闆就是在這裡出錯。這個檔案只是一個禮貌的請求,守規矩的檢索器才會遵守。除此之外它什麼也改變不了。
| 您想要 | robots.txt 做得到嗎? | 改用 |
|---|---|---|
| 讓網頁不出現在 Google 搜尋結果中 | 不行。被封鎖的網址如果有其他網站連結,仍可能出現,只是沒有說明文字(Google) | noindex 標記(PDF 用 X-Robots-Tag 標頭)、密碼,或刪除網頁(Google) |
| 隱藏私密檔案 | 不行。在公開檔案中列出路徑,等於公開告訴別人(RFC 9309) | 密碼或登入 |
| 攔住爬取工具和惡意機器人 | 不行。「it's up to the crawler to obey them」(是否遵守由檢索器自己決定)(Google) | 在伺服器或防火牆層級封鎖 |
| 讓 Googlebot 放慢速度 | 不行。Google 忽略 crawl-delay,而 Search Console 的檢索頻率工具已於 2024 年 1 月 8 日移除(Google Blog) | 短時間內回傳 500、503 或 429 狀態碼(Google) |
| 涵蓋 blog.example.com 或 http 版本 | 不行。每個主機、通訊協定和連接埠都需要各自的檔案(Google) | 每個子網域一個檔案 |
標準本身說得很直白:
"These rules are not a form of access authorization." (RFC 9309) 譯文:「這些規則不是一種存取授權。」
由此產生一個陷阱。如果您在 robots.txt 中封鎖了某個網頁,同時又為它加上 noindex 標記,Google 根本不會抓取這個網頁,也就看不到 noindex:「the crawler will never see the noindex rule, and the page can still appear in search results」(檢索器永遠看不到 noindex 規則,網頁仍可能出現在搜尋結果中)(Google Search Central: Block indexing)。要讓網頁從 Google 消失,就讓它保持可檢索,交給 noindex 處理。
我需要 robots.txt 檔案嗎?
不一定。如果檔案不存在(伺服器回傳 404),Google 會視為網站沒有檢索限制,照常檢索(Google: robots.txt specification)。大多數小網站沒有它也不會有任何損失。Wix 或 Blogger 等代管建站工具可能會替您管理這個檔案,並提供搜尋設定頁面來代替(Google Search Central)。
真正有害的是出錯的檔案。如果伺服器對 robots.txt 回傳錯誤(5xx),Google 會在最初 12 小時內停止檢索網站,之後最多 30 天使用上一份正常的副本(Google: robots.txt specification)。
放在哪裡,修改何時生效
- 位置: 只能放在主機的根目錄。放在 example.com/folder/robots.txt 的檔案永遠不會被讀取(Google)。
- 名稱和格式: 必須叫 robots.txt,純 UTF-8 文字,每個網站一個檔案(Google)。
- 大小: Google 只讀取前 500 KiB,其餘部分忽略(Google)。
- 延遲: Google 通常會快取這個檔案最多 24 小時,所以修改不會立即生效(Google)。
- 檢查: Google 的工具是 Search Console 中的 robots.txt 報表(Google)。請參閱值得一看的 Search Console 報表。
範例
一家園藝公司的檔案寫著 Disallow: /
網站上線時直接沿用了測試環境的副本,而那份副本告訴所有檢索器不要進入。來自搜尋的潛在客戶掛零。刪掉那一行,再等大約一天讓 Google 重新擷取檔案,檢索就會恢復。
一家診所想隱藏員工入口網站
老闆加上了 Disallow: /staff-portal/。這能阻止 Google 檢索,卻把資料夾名稱公開給任何打開 robots.txt 的人。入口網站需要的是登入;robots.txt 這一行毫無幫助。
一家有 2,000 個篩選頁的網路商店
排序和篩選選項會為每個分類頁產生成千上萬個幾乎相同的副本。像 Disallow: /*?sort= 這樣的規則能讓檢索器留在真正的網頁上。這正是 robots.txt 的本分。
常見問題
每個網站都有 robots.txt 檔案嗎?
沒有。它是選用的,沒有這個檔案時,檢索器可以抓取任何網頁(RFC 9309)。
robots.txt 能把網頁從 Google 移除嗎?
不能。它阻止的是檢索,不是索引。請使用 noindex,或依照從 Google 移除資訊中的步驟操作。
能用 robots.txt 封鎖 AI 機器人嗎?
能,但只對遵守它的機器人有效,方法是逐一寫出每個機器人的 user-agent。該封鎖哪些,請見該封鎖 AI 檢索器嗎?。
Google 多久能看到我的修改?
通常一天之內,因為 Google 會快取這個檔案最多 24 小時(Google)。
您的情況不同?
- 您的網站完全不在 Google 上: Disallow: / 只是幾種原因之一。請逐項排查網站為什麼沒有出現在 Google 上。
- Search Console 顯示網頁已檢索但未建立索引: 這不是 robots.txt 的問題。請參閱已檢索或已發現,但尚未建立索引。
- 您希望 AI 助理引用您,但不拿您的內容訓練: 請參閱封鎖 AI 檢索器。
- 您寧願有人幫您把檢索設定管好: 請參閱 /seo/。