可檢索性檢查清單:讓 Google 能造訪到每個頁面
簡短回答 Google 靠追蹤連結找到頁面,所以可檢索性歸結為三項檢查:每個您想被找到的頁面,都有網站上另一個頁面給它的一般連結;robots.txt 沒有封鎖它或它需要的檔案;連結開啟的是正常頁面,而不是 404、伺服器錯誤或很長的重新導向鏈。這三項在 Search Console 裡都能免費查看。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話可檢索性檢查清單:真正重要的幾項
檢索就是 Google 的機器人(Googlebot)造訪您的頁面。它造訪不到的頁面無法被編入索引,也就根本不會出現在搜尋結果中。Google 表示它「doesn't crawl all the pages it discovered」(不會檢索它發現的所有頁面):有些被網站擁有者封鎖,有些需要登入才能看,還有些因伺服器或網路問題而檢索不到(Google Search Central: How Search works)。
依序做以下檢查。每一項用免費工具幾分鐘就能完成。
| # | 檢查項目 | 在哪裡看 | 怎麼修 |
|---|---|---|---|
| 1 | 每個您想被找到的頁面,都有網站上另一個頁面連結到它 | Search Console → 連結 → 內部連結最多的頁面 | 從相關頁面或選單加一個連結 |
| 2 | 連結是真正的 HTML 連結 | 右鍵點選單項目 → 檢查:程式碼應該是帶「href」位址的「a」標記 | 請您的網站負責人改用標準連結 |
| 3 | robots.txt 沒有封鎖您想被找到的頁面 | 開啟 yourdomain.com/robots.txt,再看網址檢查 →「Crawl allowed?」 | 刪除封鎖它們的規則 |
| 4 | robots.txt 沒有封鎖頁面需要的 CSS、JavaScript 或圖片 | 網址檢查 → 即時測試 → 查看測試過的網頁 | 解除對這些檔案的封鎖 |
| 5 | 沒有指向失效頁面(404)的連結 | 網頁索引報告 →「Not found (404)」 | 修正連結,或把舊位址重新導向 |
| 6 | 沒有重新導向鏈或重新導向迴圈 | 網頁索引報告 →「Redirect error」 | 讓每個舊位址直接指向最終頁面 |
| 7 | 沒有伺服器錯誤(5xx) | 網頁索引報告 →「Server error (5xx)」 | 聯絡您的主機商;反覆出現的錯誤要修,不能只靠重試 |
| 8 | 手機版有同樣的頁面和連結 | 用手機開啟網站,使用選單 | 把桌面版選單裡的每個連結都放進手機版選單 |
Search Console 是 Google 為您的網站提供的免費管理後台。如果還沒設定,請看小型企業如何使用 Google Search Console。
怎樣找到孤立頁面?
孤立頁面是指網站上沒有任何其他頁面連結到的頁面。Google 仍可能透過 Sitemap 或其他網站知道它,但 Google 把您網站內部的連結當作主要入口。它的規則是:
"Every page you care about should have a link from at least one other page on your site." (Google Search Central: Link best practices) 譯文:「您在意的每個頁面,都應該至少有網站上另一個頁面連結到它。」
尋找方法:
- 列出您希望客戶找到的頁面:每項服務、每個服務地區、聯絡我們、關於我們。
- 在 Search Console 中開啟連結 → 內部連結最多的頁面。Google 建議用這張表來「confirm that the core site pages (home page, contact page) are properly linked within your site」(確認核心頁面,例如首頁、聯絡頁面,在網站內部有正確的連結)(Search Console Help: Links report)。
- 第 1 步列出的頁面中,凡是不在表裡,或者只有一兩個連結的,就是要修的清單。這份報告只是樣本,不包含所有連結(同一頁面),所以請把該頁面的位址放進網址檢查確認一下。
- 從客戶會經過的頁面連結過去:服務頁面從首頁和選單連結,地區頁面從服務頁面連結。
小網站常見的孤立頁面:為廣告做的到達網頁、從部落格列表裡掉出去的舊文章,以及被架站工具從選單中隱藏的頁面。
也要檢查連結類型。 一般來說,只有標準 HTML 連結(帶 href 位址的「a」元素)Google 才能檢索;只靠指令碼切換頁面的按鈕和選單可能不會被追蹤(Link best practices)。
robots.txt 有沒有封鎖我需要的頁面?
robots.txt 是放在 yourdomain.com/robots.txt 的一個小文字檔,告訴檢索器哪些位址不要造訪。用瀏覽器開啟它。`User-agent: *` 下面如果有一行 `Disallow: /`,就是封鎖整個網站;`Disallow: /services/` 則封鎖該資料夾下的所有內容。
需要知道三點:
- 沒有這個檔案也沒關係。 Google 的 robots.txt 報告說,沒有這個檔案「means that Google can crawl all URLs on your site」(代表 Google 可以檢索您網站上的所有網址)(Search Console Help: robots.txt report)。檔案出錯反而更糟:如果該位址傳回伺服器錯誤,Google 會在最初 12 小時內停止檢索整個網站(Google Crawling Infrastructure: How Google interprets the robots.txt specification)。
- 它不能隱藏頁面。 Google 說得很直接:
"it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 譯文:「它不是讓網頁不出現在 Google 中的機制。要讓網頁不出現在 Google 中,請用 noindex 禁止編入索引,或為頁面設定密碼保護。」
- 不要封鎖頁面需要的檔案。 如果缺少圖片、指令碼或樣式檔會讓頁面更難理解,就「don't block them」(不要封鎖它們)(同一頁面)。
要測試單一頁面,把它的位址貼到 Search Console 的網址檢查裡。「Crawl allowed?」一行會告訴您 robots.txt 是否允許 Google 造訪(Search Console Help: URL Inspection)。在 Wix 或 Blogger 上,您可能根本無法編輯這個檔案,而是由架站工具的搜尋設定來控制(Introduction to robots.txt)。
是否封鎖 GPTBot 等 AI 檢索器是另一個問題。請看該不該封鎖 AI 檢索器?
失效連結、重新導向和伺服器錯誤
開啟 Search Console →網頁(網頁索引報告),查看「Why pages aren't indexed」(網頁未編入索引的原因)下列出的原因(Search Console Help: Page indexing report)。
| 報告中的原因 | 意思 | 怎麼做 |
|---|---|---|
| Not found (404) | 該位址不存在 | 只修那些「you link to yourself or list in a sitemap」(您自己連結到或列在 Sitemap 裡的);頁面搬了家的,重新導向到新位址(同一頁面) |
| Soft 404 | 頁面顯示「找不到」或幾乎是空的,卻告訴 Google 一切正常 | 傳回真正的 404,或加上實際內容 |
| Redirect error | 重新導向鏈太長、形成迴圈,或鏈中有錯誤位址 | 把舊位址直接重新導向到最終頁面 |
| Server error (5xx) | Google 要求時您的伺服器出錯 | 請主機商查明原因 |
| Blocked by robots.txt | 某條 robots.txt 規則擋住了 Google | 如果您希望該頁面被找到,就刪除這條規則 |
為什麼每一項都重要:
- 404: 404 頁面會從索引中移除,Google 也會逐漸減少造訪它(Google Crawling Infrastructure: HTTP status codes)。真正的損失是點了您自己網站上失效連結的那位客戶。
- 重新導向: Googlebot 最多追蹤 10 次跳轉(同一頁面),但 Google 建議讓每個舊位址「to the final destination directly」(直接指向最終目標),做不到的話,跳轉「ideally no more than 3 and fewer than 5」(最好不超過 3 次,且少於 5 次)(Google Search Central: Site moves)。每次改版都可能多加一次跳轉。請看網站改版後流量下降。
- 伺服器錯誤會讓 Google「temporarily slow down with crawling」(暫時放慢檢索),已編入索引的頁面「are preserved in the index, but eventually dropped」(會暫時保留在索引中,但最終會被移除)(Google Crawling Infrastructure: HTTP status codes)。偶爾一晚出問題沒關係。每週都出錯,就是主機的問題了。
要完整列出您自己網站上的失效連結,可以用桌面檢索工具。請看 Screaming Frog 使用教學;同一個工具也能檢索您自己的網站。
我需要 Sitemap 嗎?要不要擔心檢索預算?
Sitemap 是向搜尋引擎列出您網站頁面的檔案。Google 說,如果您的網站「about 500 pages or fewer」(大約 500 個頁面或更少),內部連結做得好,讓 Googlebot 從首頁就能到達每個重要頁面,而且需要出現在搜尋中的影片、圖片或新聞頁面不多,您可能不需要 Sitemap(Google Search Central: What is a sitemap)。大多數架站工具反正會自動產生一個,有也無妨。
檢索預算是指 Google 在一段時間內會在您網站上檢索多少頁面。Google 的這份指南是寫給有「1 million+ unique pages」(100 萬個以上不同頁面)且每週更新的網站,或有 10,000 個以上頁面且每天更新的網站;對其他網站,Google 說保持 Sitemap 最新並查看網頁索引報告就「is adequate」(足夠了)(Google Crawling Infrastructure: Crawl budget management)。只有 30 個頁面的服務類網站可以跳過這一項。
手機版優先。 Google 編入索引的是手機版,而且「only the content shown on the mobile site is used for indexing」(只有行動版網站上顯示的內容會用於建立索引)(Google Search Central: Mobile-first indexing)。只在桌面版選單裡有連結的服務頁面,在手機版上就可能變成孤立頁面。
結構化資料和網頁速度影響的是頁面如何呈現和排名,而不是 Google 能否造訪到它。標準網址標記(canonical)用來決定幾個重複頁面中將哪一個編入索引,也不能幫助 Google 造訪頁面(Google Search Central: What is canonicalization)。如果頁面能被造訪卻仍未被編入索引,那是另一個問題:請看已檢索或已發現,但尚未編入索引。
範例
有五個地區頁面的清潔公司
一家清潔公司為五個城鎮各做了一個頁面,但選單只連結到「服務」。Search Console 的連結報告裡只有首頁和聯絡頁面,五個城鎮頁面一個都沒有。在服務頁面上加一個「服務地區」區塊,連結全部五個頁面,一個下午就解決了孤立頁面問題。
改版後的診所
一家診所在 2024 年把 /services/botox.html 改成 /botox/,2026 年又改成 /treatments/botox/,但一條舊規則仍把 /treatments/botox/ 送回 /botox/。網頁索引報告把它列在「Redirect error」下:這是一個迴圈。刪掉舊規則,讓每個舊位址直接指向 /treatments/botox/,問題就解決了。
承包商被封鎖的資料夾
一位承包商的 robots.txt 是從範本複製來的,裡面有 `Disallow: /wp-content/`。網址檢查的螢幕截圖顯示頁面沒有樣式也沒有照片。刪掉這一行後,Google 就能像客戶一樣看到完整頁面。
常見問題
SEO 中的可檢索性是什麼?
就是搜尋引擎的機器人能否透過追蹤連結到達並載入某個頁面。它到不了的頁面,就無法被編入索引或取得排名。
檢索和編入索引是一回事嗎?
不是。檢索是 Google 造訪頁面;編入索引是 Google 把頁面存起來,以便在搜尋結果中顯示。頁面可能被檢索了卻仍未被編入索引。
怎樣檢查 Google 能否檢索某個頁面?
把位址貼到 Search Console 的網址檢查中,執行即時測試。「Crawl allowed?」和「Page fetch」會告訴您是 robots.txt 還是伺服器擋住了 Google(Search Console Help: URL Inspection)。
失效連結會影響我的排名嗎?
Google 沒有說過存在全站性的懲罰。但 404 頁面會從索引中移除,碰到它的訪客也會離開,所以請修好您自己連結到的那些。
這份清單多久做一次?
每次改版、搬遷或新增一批頁面之後都做一次,另外每月快速看一眼網頁索引報告。
您的情況不同?
- 整個網站都不在 Google 上:先看網站在 Google 上搜尋不到。
- 頁面能被造訪但沒有被編入索引:請看已檢索或已發現,但尚未編入索引。
- 您剛改版或更換了網域:請看網站改版後流量下降。
- 選單或頁面結構需要重建:這屬於網站工作。請看 /website/。
- 您希望每個月有人替您做這些檢查:請看 /seo/。