會讓 Google 無法檢索網站的 robots.txt 錯誤,以及修正方法
簡短回答 robots.txt 造成的傷害多半來自幾個錯誤:測試站留下的 Disallow: /、被封鎖的 CSS 或指令碼資料夾、比預期涵蓋更多的短規則,以及 Google 會忽略的規則(例如 noindex)。打開 yoursite.com/robots.txt,對照這份清單逐行檢查,再到 Search Console 的 robots.txt 報告確認。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話常見錯誤一覽
在瀏覽器中打開 yoursite.com/robots.txt。裡面的每一行,都是對 Google 檢索器(Googlebot,也就是擷取您網頁的程式)提出的要求。以下這些行最容易讓店家損失流量,大致依傷害程度排序。
| 錯誤 | 後果 | 修正 |
|---|---|---|
| 架站時留下的 Disallow: / | 封鎖整個網站 | 刪除這一行 |
| 封鎖了 CSS 或指令碼資料夾 | Google 看到的網頁和訪客看到的不一樣 | 刪除針對這些資料夾的規則 |
| 像 Disallow: /blog 這樣的短規則 | 連 /blog-tips 和 /blogger 也一起封鎖 | 資料夾規則以 / 結尾 |
| Disallow: /*? | 封鎖所有含 ? 的網址 | 寫明具體的參數 |
| Googlebot 群組裡少了您的其他規則 | Google 會忽略您的 * 群組 | 把共用規則複製進去 |
| 想靠封鎖網頁讓它從 Google 消失 | 網頁可能仍留在搜尋結果中 | 解除封鎖,改用 noindex |
| noindex 或 crawl-delay 行 | Google 兩者都忽略 | 改用 noindex 標記;刪掉 crawl-delay |
| 列出私人資料夾想把它們藏起來 | 任何人都讀得到這個檔案 | 改用密碼保護 |
| 檔案回傳伺服器錯誤 | Google 暫停檢索 | 修好伺服器,讓檔案能正常載入 |
是不是遺留的測試站規則封鎖了整個網站?
檢查 User-agent: * 下面有沒有一行正好寫著 Disallow: /。這一個斜線會比對到所有網頁(Google:robots.txt 規格)。開發人員常在新網站建置期間加上它,結果上線時一起發布了。Google 的網站搬遷指南把它列為常見錯誤之一:
"Don't forget to remove any noindex or robots.txt blocks that were only needed for the migration." (Google Search Central: Site moves with URL changes) 譯文:「別忘了移除那些只在搬遷期間需要的 noindex 或 robots.txt 封鎖。」
如果用的是 WordPress,也要檢查「設定」中的「閱讀」。「阻擋搜尋引擎索引這個網站」這個選項,現在會在每個網頁加上 noindex 標記;5.3 版之前,它是把 Disallow: / 寫進 robots.txt(WordPress.org:閱讀設定頁面)。不論哪種方式,上線後忘了取消勾選,網站都會進不了 Google。如果新網站一上線流量就下滑,先看看改版後流量為什麼會下降。
我是不是封鎖了 CSS、JavaScript 或圖片?
如果某條規則涵蓋了存放樣式和指令碼的資料夾,Google 看到的就是一個殘缺的網頁。Google 會像瀏覽器一樣算繪網頁,但不會執行它無權擷取的程式碼:「Google Search won't render JavaScript from blocked files or on blocked pages」(Google 搜尋不會算繪來自被封鎖檔案或被封鎖網頁上的 JavaScript)(Google:JavaScript SEO 基本概念)。它的入門指南把代價說得很清楚:
"If your site is hiding important components that make up your website (like CSS and JavaScript), Google might not be able to understand your pages, which means they might not show up in search results or rank well for the terms you're targeting." (Google Search Central: SEO Starter Guide) 譯文:「如果您的網站隱藏了構成網站的重要元件(例如 CSS 和 JavaScript),Google 可能無法理解您的網頁,這表示它們可能不會出現在搜尋結果中,或是在您鎖定的關鍵字上排名不佳。」
在 WordPress 上,佈景主題檔案和上傳的圖片都放在 /wp-content/ 底下,所以 Disallow: /wp-content/ 會把兩者一起封鎖。封鎖圖片資料夾也會讓這些圖片無法出現在 Google 圖片中(Google:robots.txt 簡介)。Google 表示,只有在網頁不依賴某項資源時,封鎖它才沒問題。
為什麼我的規則封鎖的範圍比我想的大?
因為每條規則比對的是網址的開頭,而且只有兩個萬用字元:* 代表任意字元,$ 代表結尾(Google:robots.txt 規格)。路徑有區分大小寫。
| 規則 | 您的本意 | 它還會封鎖 |
|---|---|---|
| Disallow: /blog | 部落格資料夾 | /blog-tips、/blogger.html |
| Disallow: /*? | 排序或篩選後的重複網頁 | 所有含 ? 的網址,例如 /services?page=2 |
| Disallow: /*.pdf | PDF 檔案 | 任何含 .pdf 的路徑,例如 /guide.pdf-download |
| Disallow: /Admin/ | 後台區域 | /admin/ 底下什麼都沒封鎖(大小寫不對) |
比較安全的寫法:資料夾用 Disallow: /blog/,單一參數用 Disallow: /*?sort=,以 .pdf 結尾的檔案用 Disallow: /*.pdf$。
Google 為什麼不理會我的規則?
三個常見原因:
- 具名群組會取代通用群組。 檢索器只遵循最明確指名它的那個群組;「Other groups are ignored」(其他群組會被忽略)(Google:robots.txt 規格)。只要加一個只有一條規則的 User-agent: Googlebot 群組,Googlebot 就不再讀取 User-agent: * 底下的任何內容。
- 這條規則不是 Google 會讀取的。 Google 只支援 user-agent、allow、disallow 和 sitemap;「other fields such as crawl-delay aren't supported」(crawl-delay 等其他欄位不受支援)(Google:robots.txt 規格)。從 2019 年 9 月 1 日起,Google 不再遵守 robots.txt 中的 noindex 行(Google Search Central 部落格)。
- 檔案放錯了位置。 它必須放在每個主機的根目錄。放在子資料夾裡的檔案永遠不會被讀取,而 blog.example.com 需要自己的檔案(Google:robots.txt 規格)。
我已經封鎖了網頁,為什麼它還在 Google 上?
因為 robots.txt 阻止的是檢索,不是索引。Google 可以根據其他地方的連結收錄被封鎖的網頁,通常不附說明。Search Console 的網頁索引報告說明了該怎麼做:
"If you do want to block this page from Google Search, robots.txt is not the correct mechanism to avoid being indexed. To avoid being indexed, remove the robots.txt block and use 'noindex'." (Search Console Help: Page indexing report) 譯文:「如果您確實想讓這個網頁不出現在 Google 搜尋中,robots.txt 並不是避免被編入索引的正確方式。若要避免被編入索引,請移除 robots.txt 封鎖,並使用『noindex』。」
同一個網頁既封鎖又加 noindex 也不行:「the crawler will never see the noindex rule」(檢索器永遠看不到 noindex 規則)(Google:封鎖索引)。如果需要讓網頁盡快消失,請看從 Google 移除資訊。
如果檔案本身出錯怎麼辦?
伺服器怎麼回應,和檔案裡寫了什麼同樣重要(Google:robots.txt 規格):
| 伺服器對 /robots.txt 的回應 | Google 的做法 |
|---|---|
| 404 或其他 4xx(429 除外) | 當作沒有任何規則來檢索 |
| 5xx 伺服器錯誤 | 停止檢索網站 12 小時,之後最多 30 天內使用最後一份正常的副本 |
| 超過五次重新導向 | 當作檔案不存在(404) |
所以檔案不存在無傷大雅;檔案出錯卻可能讓檢索停擺。防火牆或安全外掛擋住 Googlebot 讀取這個檔案,就可能造成這種情況。
怎麼檢查和修正?
- 讀取線上檔案:在瀏覽器無痕視窗中打開 yoursite.com/robots.txt。
- 打開 Search Console 中的 robots.txt 報告。 Google 指定它為檢查線上檔案的工具(Google:建立 robots.txt 檔案)。據 Search Engine Roundtable 報導,Google 舊版的 robots.txt 測試工具已於 2023 年底停用。
- 檢查一個重要網頁:用網址審查工具查看是否允許檢索。請看值得一讀的 Search Console 報告。
- 編輯並上傳修正後的檔案。Google 大約每 24 小時更新一次它保存的副本;想更快生效,可在 robots.txt 報告中使用「要求重新檢索」(Google:更新 robots.txt 檔案)。
範例
網站重建後的屋頂承包商(美元)
花 $6,000 做的新網站上線,幾週內來自搜尋的電話就斷了。robots.txt 寫的是 User-agent: *,下一行是 Disallow: /。刪掉第二行並要求重新檢索,Google 就能重新進入;隨著 Google 重新檢索,網頁可以陸續回來。
想隱藏訂購網頁的麵包店(加幣)
店主加了 Disallow: /order,想讓一個 $40 客製蛋糕的表單不出現在 Google 上。結果它也封鎖了 /ordering-faq,一個原本有排名的網頁。改成 Disallow: /order$ 後就只封鎖這個表單。更好的做法是:刪掉這條規則,在表單網頁加上 noindex 標記,因為真正讓網頁不出現在結果中的是它。
常見問題
寫錯一行真的會讓整個網站消失嗎?
會。User-agent: * 底下的 Disallow: / 會要求所有檢索器略過所有網頁。
WordPress 上應該封鎖 /wp-admin/ 嗎?
封鎖後台區域很常見,也無害,只要這條規則沒有同時涵蓋 /wp-content/——佈景主題的樣式和圖片都放在那裡。
Google 會遵守 crawl-delay 嗎?
不會。Google 會忽略它(Google:robots.txt 規格)。
robots.txt 能保護私人網頁嗎?
不能。任何人都讀得到這個檔案,惡意機器人也會無視它。Google 建議改用密碼保護私人檔案(Google:robots.txt 簡介)。
Google 多快能看到我的修正?
通常一天之內,因為 Google 最多快取這個檔案 24 小時。在 robots.txt 報告中要求重新檢索可以加快速度。
您的情況不同?
- 網站在 Google 上找不到,而 robots.txt 看起來沒問題: 請依照網站為什麼沒出現在 Google 上逐項排查。
- 換了新網站或新主機後流量下滑: 請看改版後流量下降。
- 想封鎖 AI 檢索器又不影響 Google: 請看封鎖 AI 爬蟲。
- 希望有人幫您把檢索設定管好: 請看 /seo/。