Reddit 用 robots.txt 封鎖爬蟲:對您的網站代表什麼
簡短回答 2024 年 7 月,Reddit 修改了 robots.txt,要求所有爬蟲不得進入,只放行簽了協議的公司,其中最主要的是 Google。Bing 因此停止檢索 Reddit。Reddit 敢這麼做,是因為 AI 公司會付錢買它的資料。小型企業需要的恰恰相反:確認您自己的 robots.txt 沒有誤把搜尋引擎擋在門外。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話Reddit 封鎖了什麼,為什麼
從 2024 年 7 月起,Reddit 的 robots.txt 要求所有爬蟲不得進入,只有簽了協議的公司才能進。robots.txt 是放在 yoursite.com/robots.txt 的一個小文字檔,用來告訴搜尋引擎機器人(爬蟲)可以造訪哪些網頁。
| 日期 | 發生了什麼 |
|---|---|
| 2024 年 2 月 22 日 | Reddit 向 Google 提供其貼文的結構化存取權限,包括「more efficient ways to train models」(更有效率的模型訓練方式)(Reddit) |
| 2024 年 5 月 16 日 | OpenAI 簽下類似協議,把 Reddit 內容帶進 ChatGPT(Reddit) |
| 2024 年 6 月 25 日 | Reddit 宣布收緊 robots.txt,並表示沒有協議的機器人會被限速或封鎖(TechCrunch) |
| 2024 年 7 月 1 日 | 新檔案上線;Bing 停止檢索 Reddit(Microsoft,據 Android Authority 報導) |
| 2025 年 8 月 | Reddit 也限制了網際網路檔案館(Internet Archive),稱 AI 公司透過它抓取 Reddit(SiliconANGLE) |
據報導,Microsoft 的聲明是:「Bing stopped crawling Reddit after they implemented their updated robots.txt file on July 1」(Reddit 在 7 月 1 日啟用更新後的 robots.txt 檔案後,Bing 停止檢索 Reddit),這個檔案「which prohibits all crawling of their site」(禁止對其網站的一切檢索)(Android Authority)。
Reddit 的理由是 AI,而不是搜尋。一位發言人說,這次封鎖「not at all related to our recent partnership with Google」(與我們最近和 Google 的合作完全無關),還說一些搜尋引擎「unable or unwilling to make enforceable promises」(無法或不願做出可執行的承諾)來約束如何使用其內容,「including their use for AI」(包括用於 AI)(Android Authority)。Bing、DuckDuckGo、Mojeek 和 Qwant 都不再顯示 Reddit 的新貼文(9to5Google)。
Reddit 真的封鎖了所有搜尋引擎嗎?
沒有。Google 一直在檢索,因為簽了協議的公司不受限制(TechCrunch)。檔案上寫的是「所有人不得進入」;真正決定誰能進的,是背後的協議和封鎖措施。我們沒有找到 2025–2026 年 Bing 恢復存取的報導,但也無法確認 Reddit 目前的檔案內容。
為什麼 Reddit 能這麼做,而您不能
Reddit 賣的是內容。它的貼文夠值錢,Google 和 OpenAI 都付費取得存取權(Reddit、Reddit)。關上門,價格就上去了。
水電師傅、牙醫或會計師賣的是服務。您的網頁存在的意義就是被找到。您擋在門外的每一個爬蟲,都是一個沒辦法替您帶來客戶的搜尋引擎或 AI 助理。照抄 Reddit 的檔案,您會吃虧;學它刻意決定誰能進來的習慣,您才會受益。
教訓一:檢查自己是否誤封鎖了搜尋引擎
在瀏覽器裡開啟 yoursite.com/robots.txt。如果同時看到下面兩行,就等於告訴所有爬蟲略過您的整個網站:
| 程式碼行 | 意思 |
|---|---|
| User-agent: * | 下面的規則適用於所有機器人 |
| Disallow: / | 不要檢索任何網頁 |
常見的兩種原因:
- 網站從測試版直接上線。 開發人員在測試網站上封鎖了機器人,上線時忘了刪掉這條規則。
- WordPress 的一個核取方塊。 在「設定」→「閱讀」裡的「Discourage search engines from indexing this site」(建議搜尋引擎不要索引這個網站)。舊版會把上面那條規則原封不動寫進 robots.txt;從 5.3 版起改為加上 noindex 標記(WordPress)。無論哪一種,您的網頁都不會再正常出現在 Google 上。
修好之後,Google 大約 24 小時內會更新它保存的副本;在 Search Console 的 robots.txt 報告裡按「Request a recrawl」(要求重新檢索)按鈕會更快(Google)。
教訓二:robots.txt 是請求,不是鎖
Reddit 用限速、封鎖和合約來配合它的檔案,因為光靠檔案本身什麼也擋不住。Google 自己也這麼說:
"The instructions in robots.txt files cannot enforce crawler behavior to your site; it's up to the crawler to obey them." (Google Search Central) 譯文:「robots.txt 檔案中的指令無法強制約束爬蟲在您網站上的行為;是否遵守由爬蟲自己決定。」
"This is used mainly to avoid overloading your site with requests; it is not a mechanism for keeping a web page out of Google." (Google Search Central) 譯文:「它主要用於避免您的網站因要求過多而超出負荷;它並不是讓網頁不出現在 Google 上的機制。」
| 您想要 | 用什麼 |
|---|---|
| 讓某個網頁不出現在 Google 上 | noindex 標記,同時在 robots.txt 中不封鎖該網頁 |
| 讓檔案保持私密 | 密碼 |
| 阻止某個特定的 AI 機器人 | 針對該機器人寫一行 Disallow(請參考應該封鎖哪些 AI 機器人) |
不要一邊在 robots.txt 裡封鎖某個網頁,一邊又替它加上 noindex。Google 無法造訪的網頁,它就讀不到上面的標記:
"If the page is blocked by a robots.txt file or the crawler can't access the page, the crawler will never see the noindex rule, and the page can still appear in search results, for example if other pages link to it." (Google Search Central) 譯文:「如果網頁被 robots.txt 檔案封鎖,或者爬蟲無法存取該網頁,爬蟲就永遠看不到 noindex 規則,該網頁仍可能出現在搜尋結果中,例如有其他網頁連結到它時。」
教訓三:robots.txt 出錯也會擋住 Google
如果 Google 要求 robots.txt 時您的伺服器回傳錯誤(5xx 狀態碼),Google 會在最初 12 小時內停止檢索您的網站,之後最多 30 天使用最後一份正常的副本(Google)。檔案不存在(404)則沒問題:Google 會視為沒有任何限制(Google)。如果您的主機常常當機,請主機商確認 robots.txt 能正常載入。
我需要管理檢索預算嗎?
幾乎可以肯定不需要。Google 的檢索預算指南針對的是 100 萬以上網頁且每週更新的網站,或 1 萬以上網頁且每天更新的網站。Google 說,如果您的網頁「seem to be crawled the same day that they are published, you don't need to read this guide」(看起來在發布當天就被檢索,您就不需要讀這份指南)(Google)。一家只有 30 個網頁的服務業者,靠封鎖網頁來「節省」檢索,不會有任何好處。
範例
網站改版後的庭園造景公司
新網站上線後的一個月裡,來自 Google 的電話少了一半。robots.txt 裡還寫著 User-agent: * 和 Disallow: /,是從測試網站照搬過來的。刪掉這一行並按下「Request a recrawl」後,Google 就能重新進入;隨著 Google 重新檢索,網頁會陸續回來。
想隱藏員工網頁的診所
員工登入網頁出現在了 Google 上。網頁設計師在 robots.txt 裡封鎖了它,所以 Google 從來沒看到 noindex 標記。解決辦法:解除封鎖,讓 noindex 生效,並替網頁加上密碼。
不想被拿去訓練 AI 的記帳師
她封鎖了只用於訓練的機器人,對 Googlebot、Bingbot 和所有搜尋機器人一律放行。和 Reddit 一樣,她自己決定誰能進來;和 Reddit 不同的是,她留住了每一個能帶來客戶的搜尋引擎。
常見問題
Reddit 從 Google 上消失了嗎?
沒有。Google 因為和 Reddit 簽了協議而不受限制(TechCrunch)。Bing 以及依賴 Bing 的搜尋引擎失去了 Reddit 的新貼文(9to5Google)。
一個網站能給 Google 和 Bing 提供不同的 robots.txt 嗎?
技術上可以,但小型企業沒有理由這麼做。用一個檔案、替每個機器人寫明各自的規則比較清楚,您也能確切看到每個機器人收到的指令。
怎麼測試我的 robots.txt?
在瀏覽器的無痕視窗中開啟它,確認能正常載入,然後查看 Search Console 的 robots.txt 報告有沒有錯誤(Google)。據 Search Engine Land 報導,舊的 robots.txt 測試工具已在 2023 年底停用。
我應該封鎖 CSS 和 JavaScript 檔案嗎?
不應該。Google 說不要封鎖這些資源檔案,否則「Google won't do a good job of analyzing pages that depend on those resources」(Google 就無法好好分析依賴這些資源的網頁)(Google Search Central)。
您的情況不同?
- 您想擋住 AI 訓練機器人,但仍出現在 AI 回答中:應該封鎖 AI 爬蟲嗎?
- 您的網站根本不在 Google 上:網站在 Google 上搜尋不到。
- Search Console 顯示網頁已檢索但未建立索引:已檢索或已發現,目前尚未建立索引。
- 您從沒開過 Search Console:小型企業如何使用 Google Search Console。
- 您想直接從 Reddit 獲得客戶:小型企業的 Reddit 行銷。
- 您希望有人幫您檢查:SEO 與 GEO 代理。