產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

Robots.txt 是什麼:怎麼運作,又做不到什麼

更新於 · 閱讀約 6 分鐘

簡短回答 Robots.txt 是放在 yoursite.com/robots.txt 的純文字檔,告訴檢索器哪些網址可以造訪。它控制的是檢索,不是索引:Google 明確表示它不是讓網頁不出現在搜尋中的方法。它是請求,不是門鎖:私密網頁需要密碼,不想出現在 Google 的網頁要用 noindex。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

robots.txt 檔案是什麼

它是一個放在網域根目錄的簡短文字檔,例如 example.com/robots.txt,告訴搜尋引擎檢索器(抓取網頁的程式,例如 Googlebot)網站的哪些部分可以造訪。任何人都能查看,包括您自己:在瀏覽器輸入您的網域加上 /robots.txt 即可。

它真正的用途是管理檢索器流量。Google 搜尋中心把界線說得很清楚:

"This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central: Introduction to robots.txt) 譯文:「它主要用於避免您的網站因請求過多而超載;它不是讓網頁不出現在 Google 中的機制。」

這個格式由來已久。Martijn Koster 在 1994 年制定了它,網際網路工程任務組(IETF)在 2022 年 9 月將它發布為標準軌道文件 RFC 9309(RFC 9309)。

robots.txt 檔案長什麼樣子?

只有幾行,每行是欄位名稱、冒號和值。以下是典型小型企業的檔案,逐行說明:

行意思
User-agent: *以下規則適用於所有檢索器
Disallow: /cart/不要抓取路徑以 /cart/ 開頭的任何內容
Disallow: /*?sort=不要抓取清單頁依排序產生的副本
Allow: /cart/help這一頁例外,可以抓取
Sitemap: https://example.com/sitemap.xml您的網頁清單所在位置

Google 只讀取四個欄位;其他欄位(例如 crawl-delay)一律忽略(Google: robots.txt specification):

欄位含義說明
user-agent這組規則針對哪個檢索器* 代表任何檢索器
disallow檢索器不應抓取的路徑沒有路徑的 disallow 什麼也不封鎖
allow可以抓取的路徑,即使位於被封鎖的資料夾內用來設定例外
sitemapSitemap 的完整網址適用於所有檢索器;可以列出多個

可以封鎖圖片、指令碼或樣式檔案,但 Google 提醒不要封鎖它理解網頁所需的那些檔案(Google Search Central)。

以 # 開頭的行是註解,檢索器會略過,適合註明某條規則為什麼存在。如果一條規則都沒有,整個網站都可以被檢索(Google: robots.txt specification)。

規則如何比對網頁?

每條規則都和網頁路徑(網址中網域之後的部分)的開頭比對。有三個細節最容易出錯(Google: robots.txt specification):

  • 路徑區分大小寫,並以 / 開頭。 Disallow: /fish 會封鎖 /fish.html 和 /fishheads,但不會封鎖 /Fish.asp 或 /catfish。
  • 只有兩種萬用字元。 * 代表任意一串字元,$ 代表網址結尾。不支援規則運算式(程式設計師在別處使用的模式比對語法)。
  • 比對最長的規則優先。 如果 allow 和 disallow 比對長度相同,Google 會選擇限制較少的那條,也就是 allow。
規則封鎖不封鎖
Disallow: /整個網站無
Disallow: /fish//fish/salmon.htm/fish.html、/animals/fish/
Disallow: /*.pdf$/menu.pdf/menu.pdf?v=2
Disallow:無(空規則)全部

哪個檢索器遵守哪些規則?

每個檢索器只遵守一組規則:最具體點名它的那一組。Google 表示「Other groups are ignored」(其他群組會被忽略)(Google: robots.txt specification)。所以如果您新增了 User-agent: Googlebot 群組,Googlebot 就完全不再讀取您的 User-agent: * 群組。共用的規則也要複製到 Googlebot 群組裡。各群組在檔案中的順序無關緊要。

robots.txt 做不到什麼

大多數老闆就是在這裡出錯。這個檔案只是一個禮貌的請求,守規矩的檢索器才會遵守。除此之外它什麼也改變不了。

您想要robots.txt 做得到嗎?改用
讓網頁不出現在 Google 搜尋結果中不行。被封鎖的網址如果有其他網站連結,仍可能出現,只是沒有說明文字(Google)noindex 標記(PDF 用 X-Robots-Tag 標頭)、密碼,或刪除網頁(Google)
隱藏私密檔案不行。在公開檔案中列出路徑,等於公開告訴別人(RFC 9309)密碼或登入
攔住爬取工具和惡意機器人不行。「it's up to the crawler to obey them」(是否遵守由檢索器自己決定)(Google)在伺服器或防火牆層級封鎖
讓 Googlebot 放慢速度不行。Google 忽略 crawl-delay,而 Search Console 的檢索頻率工具已於 2024 年 1 月 8 日移除(Google Blog)短時間內回傳 500、503 或 429 狀態碼(Google)
涵蓋 blog.example.com 或 http 版本不行。每個主機、通訊協定和連接埠都需要各自的檔案(Google)每個子網域一個檔案

標準本身說得很直白:

"These rules are not a form of access authorization." (RFC 9309) 譯文:「這些規則不是一種存取授權。」

由此產生一個陷阱。如果您在 robots.txt 中封鎖了某個網頁,同時又為它加上 noindex 標記,Google 根本不會抓取這個網頁,也就看不到 noindex:「the crawler will never see the noindex rule, and the page can still appear in search results」(檢索器永遠看不到 noindex 規則,網頁仍可能出現在搜尋結果中)(Google Search Central: Block indexing)。要讓網頁從 Google 消失,就讓它保持可檢索,交給 noindex 處理。

我需要 robots.txt 檔案嗎?

不一定。如果檔案不存在(伺服器回傳 404),Google 會視為網站沒有檢索限制,照常檢索(Google: robots.txt specification)。大多數小網站沒有它也不會有任何損失。Wix 或 Blogger 等代管建站工具可能會替您管理這個檔案,並提供搜尋設定頁面來代替(Google Search Central)。

真正有害的是出錯的檔案。如果伺服器對 robots.txt 回傳錯誤(5xx),Google 會在最初 12 小時內停止檢索網站,之後最多 30 天使用上一份正常的副本(Google: robots.txt specification)。

放在哪裡,修改何時生效

  • 位置: 只能放在主機的根目錄。放在 example.com/folder/robots.txt 的檔案永遠不會被讀取(Google)。
  • 名稱和格式: 必須叫 robots.txt,純 UTF-8 文字,每個網站一個檔案(Google)。
  • 大小: Google 只讀取前 500 KiB,其餘部分忽略(Google)。
  • 延遲: Google 通常會快取這個檔案最多 24 小時,所以修改不會立即生效(Google)。
  • 檢查: Google 的工具是 Search Console 中的 robots.txt 報表(Google)。請參閱值得一看的 Search Console 報表。

範例

一家園藝公司的檔案寫著 Disallow: /

網站上線時直接沿用了測試環境的副本,而那份副本告訴所有檢索器不要進入。來自搜尋的潛在客戶掛零。刪掉那一行,再等大約一天讓 Google 重新擷取檔案,檢索就會恢復。

一家診所想隱藏員工入口網站

老闆加上了 Disallow: /staff-portal/。這能阻止 Google 檢索,卻把資料夾名稱公開給任何打開 robots.txt 的人。入口網站需要的是登入;robots.txt 這一行毫無幫助。

一家有 2,000 個篩選頁的網路商店

排序和篩選選項會為每個分類頁產生成千上萬個幾乎相同的副本。像 Disallow: /*?sort= 這樣的規則能讓檢索器留在真正的網頁上。這正是 robots.txt 的本分。

常見問題

每個網站都有 robots.txt 檔案嗎?

沒有。它是選用的,沒有這個檔案時,檢索器可以抓取任何網頁(RFC 9309)。

robots.txt 能把網頁從 Google 移除嗎?

不能。它阻止的是檢索,不是索引。請使用 noindex,或依照從 Google 移除資訊中的步驟操作。

能用 robots.txt 封鎖 AI 機器人嗎?

能,但只對遵守它的機器人有效,方法是逐一寫出每個機器人的 user-agent。該封鎖哪些,請見該封鎖 AI 檢索器嗎?。

Google 多久能看到我的修改?

通常一天之內,因為 Google 會快取這個檔案最多 24 小時(Google)。

您的情況不同?

繼續閱讀

下一篇Google 為網頁建立索引要多久,以及如何加快新網站、新網頁、更新過的網頁或搬遷後的網站,Google 建立索引各需要多久(引用 Google 原話),以及真正能加快速度的幾個步驟。

自己動手

可檢索性檢查清單:讓 Google 能造訪到每個頁面小型企業網站的可檢索性檢查清單:用免費工具找出孤立頁面、robots.txt 封鎖、失效連結、重新導向鏈和伺服器錯誤。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Search Central: Introduction to robots.txt
  2. Google Crawling Infrastructure: How Google interprets the robots.txt specification
  3. Google Crawling Infrastructure: Create and submit a robots.txt file
  4. Google Search Central: Block Search indexing with noindex
  5. Google Crawling Infrastructure: Reduce the Google crawl rate
  6. Google Search Central Blog: Upcoming deprecation of Crawl Rate Limiter Tool (November 2023)
  7. IETF RFC 9309: Robots Exclusion Protocol (September 2022)