產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

可檢索性檢查清單:讓 Google 能造訪到每個頁面

更新於 · 閱讀約 8 分鐘

簡短回答 Google 靠追蹤連結找到頁面,所以可檢索性歸結為三項檢查:每個您想被找到的頁面,都有網站上另一個頁面給它的一般連結;robots.txt 沒有封鎖它或它需要的檔案;連結開啟的是正常頁面,而不是 404、伺服器錯誤或很長的重新導向鏈。這三項在 Search Console 裡都能免費查看。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

可檢索性檢查清單:真正重要的幾項

檢索就是 Google 的機器人(Googlebot)造訪您的頁面。它造訪不到的頁面無法被編入索引,也就根本不會出現在搜尋結果中。Google 表示它「doesn't crawl all the pages it discovered」(不會檢索它發現的所有頁面):有些被網站擁有者封鎖,有些需要登入才能看,還有些因伺服器或網路問題而檢索不到(Google Search Central: How Search works)。

依序做以下檢查。每一項用免費工具幾分鐘就能完成。

#檢查項目在哪裡看怎麼修
1每個您想被找到的頁面,都有網站上另一個頁面連結到它Search Console → 連結 → 內部連結最多的頁面從相關頁面或選單加一個連結
2連結是真正的 HTML 連結右鍵點選單項目 → 檢查:程式碼應該是帶「href」位址的「a」標記請您的網站負責人改用標準連結
3robots.txt 沒有封鎖您想被找到的頁面開啟 yourdomain.com/robots.txt,再看網址檢查 →「Crawl allowed?」刪除封鎖它們的規則
4robots.txt 沒有封鎖頁面需要的 CSS、JavaScript 或圖片網址檢查 → 即時測試 → 查看測試過的網頁解除對這些檔案的封鎖
5沒有指向失效頁面(404)的連結網頁索引報告 →「Not found (404)」修正連結,或把舊位址重新導向
6沒有重新導向鏈或重新導向迴圈網頁索引報告 →「Redirect error」讓每個舊位址直接指向最終頁面
7沒有伺服器錯誤(5xx)網頁索引報告 →「Server error (5xx)」聯絡您的主機商;反覆出現的錯誤要修,不能只靠重試
8手機版有同樣的頁面和連結用手機開啟網站,使用選單把桌面版選單裡的每個連結都放進手機版選單

Search Console 是 Google 為您的網站提供的免費管理後台。如果還沒設定,請看小型企業如何使用 Google Search Console。

怎樣找到孤立頁面?

孤立頁面是指網站上沒有任何其他頁面連結到的頁面。Google 仍可能透過 Sitemap 或其他網站知道它,但 Google 把您網站內部的連結當作主要入口。它的規則是:

"Every page you care about should have a link from at least one other page on your site." (Google Search Central: Link best practices) 譯文:「您在意的每個頁面,都應該至少有網站上另一個頁面連結到它。」

尋找方法:

  1. 列出您希望客戶找到的頁面:每項服務、每個服務地區、聯絡我們、關於我們。
  2. 在 Search Console 中開啟連結 → 內部連結最多的頁面。Google 建議用這張表來「confirm that the core site pages (home page, contact page) are properly linked within your site」(確認核心頁面,例如首頁、聯絡頁面,在網站內部有正確的連結)(Search Console Help: Links report)。
  3. 第 1 步列出的頁面中,凡是不在表裡,或者只有一兩個連結的,就是要修的清單。這份報告只是樣本,不包含所有連結(同一頁面),所以請把該頁面的位址放進網址檢查確認一下。
  4. 從客戶會經過的頁面連結過去:服務頁面從首頁和選單連結,地區頁面從服務頁面連結。

小網站常見的孤立頁面:為廣告做的到達網頁、從部落格列表裡掉出去的舊文章,以及被架站工具從選單中隱藏的頁面。

也要檢查連結類型。 一般來說,只有標準 HTML 連結(帶 href 位址的「a」元素)Google 才能檢索;只靠指令碼切換頁面的按鈕和選單可能不會被追蹤(Link best practices)。

robots.txt 有沒有封鎖我需要的頁面?

robots.txt 是放在 yourdomain.com/robots.txt 的一個小文字檔,告訴檢索器哪些位址不要造訪。用瀏覽器開啟它。`User-agent: *` 下面如果有一行 `Disallow: /`,就是封鎖整個網站;`Disallow: /services/` 則封鎖該資料夾下的所有內容。

需要知道三點:

  • 沒有這個檔案也沒關係。 Google 的 robots.txt 報告說,沒有這個檔案「means that Google can crawl all URLs on your site」(代表 Google 可以檢索您網站上的所有網址)(Search Console Help: robots.txt report)。檔案出錯反而更糟:如果該位址傳回伺服器錯誤,Google 會在最初 12 小時內停止檢索整個網站(Google Crawling Infrastructure: How Google interprets the robots.txt specification)。
  • 它不能隱藏頁面。 Google 說得很直接:
"it is not a mechanism for keeping a web page out of Google. To keep a web page out of Google, block indexing with noindex or password-protect the page." (Google Search Central: Introduction to robots.txt) 譯文:「它不是讓網頁不出現在 Google 中的機制。要讓網頁不出現在 Google 中,請用 noindex 禁止編入索引,或為頁面設定密碼保護。」
  • 不要封鎖頁面需要的檔案。 如果缺少圖片、指令碼或樣式檔會讓頁面更難理解,就「don't block them」(不要封鎖它們)(同一頁面)。

要測試單一頁面,把它的位址貼到 Search Console 的網址檢查裡。「Crawl allowed?」一行會告訴您 robots.txt 是否允許 Google 造訪(Search Console Help: URL Inspection)。在 Wix 或 Blogger 上,您可能根本無法編輯這個檔案,而是由架站工具的搜尋設定來控制(Introduction to robots.txt)。

是否封鎖 GPTBot 等 AI 檢索器是另一個問題。請看該不該封鎖 AI 檢索器?

開啟 Search Console →網頁(網頁索引報告),查看「Why pages aren't indexed」(網頁未編入索引的原因)下列出的原因(Search Console Help: Page indexing report)。

報告中的原因意思怎麼做
Not found (404)該位址不存在只修那些「you link to yourself or list in a sitemap」(您自己連結到或列在 Sitemap 裡的);頁面搬了家的,重新導向到新位址(同一頁面)
Soft 404頁面顯示「找不到」或幾乎是空的,卻告訴 Google 一切正常傳回真正的 404,或加上實際內容
Redirect error重新導向鏈太長、形成迴圈,或鏈中有錯誤位址把舊位址直接重新導向到最終頁面
Server error (5xx)Google 要求時您的伺服器出錯請主機商查明原因
Blocked by robots.txt某條 robots.txt 規則擋住了 Google如果您希望該頁面被找到,就刪除這條規則

為什麼每一項都重要:

  • 404: 404 頁面會從索引中移除,Google 也會逐漸減少造訪它(Google Crawling Infrastructure: HTTP status codes)。真正的損失是點了您自己網站上失效連結的那位客戶。
  • 重新導向: Googlebot 最多追蹤 10 次跳轉(同一頁面),但 Google 建議讓每個舊位址「to the final destination directly」(直接指向最終目標),做不到的話,跳轉「ideally no more than 3 and fewer than 5」(最好不超過 3 次,且少於 5 次)(Google Search Central: Site moves)。每次改版都可能多加一次跳轉。請看網站改版後流量下降。
  • 伺服器錯誤會讓 Google「temporarily slow down with crawling」(暫時放慢檢索),已編入索引的頁面「are preserved in the index, but eventually dropped」(會暫時保留在索引中,但最終會被移除)(Google Crawling Infrastructure: HTTP status codes)。偶爾一晚出問題沒關係。每週都出錯,就是主機的問題了。

要完整列出您自己網站上的失效連結,可以用桌面檢索工具。請看 Screaming Frog 使用教學;同一個工具也能檢索您自己的網站。

我需要 Sitemap 嗎?要不要擔心檢索預算?

Sitemap 是向搜尋引擎列出您網站頁面的檔案。Google 說,如果您的網站「about 500 pages or fewer」(大約 500 個頁面或更少),內部連結做得好,讓 Googlebot 從首頁就能到達每個重要頁面,而且需要出現在搜尋中的影片、圖片或新聞頁面不多,您可能不需要 Sitemap(Google Search Central: What is a sitemap)。大多數架站工具反正會自動產生一個,有也無妨。

檢索預算是指 Google 在一段時間內會在您網站上檢索多少頁面。Google 的這份指南是寫給有「1 million+ unique pages」(100 萬個以上不同頁面)且每週更新的網站,或有 10,000 個以上頁面且每天更新的網站;對其他網站,Google 說保持 Sitemap 最新並查看網頁索引報告就「is adequate」(足夠了)(Google Crawling Infrastructure: Crawl budget management)。只有 30 個頁面的服務類網站可以跳過這一項。

手機版優先。 Google 編入索引的是手機版,而且「only the content shown on the mobile site is used for indexing」(只有行動版網站上顯示的內容會用於建立索引)(Google Search Central: Mobile-first indexing)。只在桌面版選單裡有連結的服務頁面,在手機版上就可能變成孤立頁面。

結構化資料和網頁速度影響的是頁面如何呈現和排名,而不是 Google 能否造訪到它。標準網址標記(canonical)用來決定幾個重複頁面中將哪一個編入索引,也不能幫助 Google 造訪頁面(Google Search Central: What is canonicalization)。如果頁面能被造訪卻仍未被編入索引,那是另一個問題:請看已檢索或已發現,但尚未編入索引。

範例

有五個地區頁面的清潔公司

一家清潔公司為五個城鎮各做了一個頁面,但選單只連結到「服務」。Search Console 的連結報告裡只有首頁和聯絡頁面,五個城鎮頁面一個都沒有。在服務頁面上加一個「服務地區」區塊,連結全部五個頁面,一個下午就解決了孤立頁面問題。

改版後的診所

一家診所在 2024 年把 /services/botox.html 改成 /botox/,2026 年又改成 /treatments/botox/,但一條舊規則仍把 /treatments/botox/ 送回 /botox/。網頁索引報告把它列在「Redirect error」下:這是一個迴圈。刪掉舊規則,讓每個舊位址直接指向 /treatments/botox/,問題就解決了。

承包商被封鎖的資料夾

一位承包商的 robots.txt 是從範本複製來的,裡面有 `Disallow: /wp-content/`。網址檢查的螢幕截圖顯示頁面沒有樣式也沒有照片。刪掉這一行後,Google 就能像客戶一樣看到完整頁面。

常見問題

SEO 中的可檢索性是什麼?

就是搜尋引擎的機器人能否透過追蹤連結到達並載入某個頁面。它到不了的頁面,就無法被編入索引或取得排名。

檢索和編入索引是一回事嗎?

不是。檢索是 Google 造訪頁面;編入索引是 Google 把頁面存起來,以便在搜尋結果中顯示。頁面可能被檢索了卻仍未被編入索引。

怎樣檢查 Google 能否檢索某個頁面?

把位址貼到 Search Console 的網址檢查中,執行即時測試。「Crawl allowed?」和「Page fetch」會告訴您是 robots.txt 還是伺服器擋住了 Google(Search Console Help: URL Inspection)。

失效連結會影響我的排名嗎?

Google 沒有說過存在全站性的懲罰。但 404 頁面會從索引中移除,碰到它的訪客也會離開,所以請修好您自己連結到的那些。

這份清單多久做一次?

每次改版、搬遷或新增一批頁面之後都做一次,另外每月快速看一眼網頁索引報告。

您的情況不同?

繼續閱讀

下一篇現在的 Sitemap 最佳做法:lastmod、IndexNow 和 AI 機器人最新的 XML Sitemap 檢查清單:Google 和 Bing 讀什麼、為什麼只有 lastmod 有用、IndexNow 如何快速通知 Bing,以及 AI 搜尋機器人需要什麼。

自己動手

Core Web Vitals 檢查清單:讓網站變快的速效做法小型企業網站一週就能做完的 Core Web Vitals 檢查清單:先找出不合格的指標,再做老闆自己就能改的圖片、版面和指令碼修正。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Search Central: Link best practices for Google
  2. Google Search Central: In-depth guide to how Google Search works
  3. Google Crawling Infrastructure: How Google interprets the robots.txt specification
  4. Google Search Central: Introduction to robots.txt
  5. Google Crawling Infrastructure: How HTTP status codes affect Google's crawlers
  6. Google Search Central: Site moves with URL changes
  7. Google Search Central: What is a sitemap
  8. Google Crawling Infrastructure: Crawl budget management
  9. Google Search Central: Mobile-first indexing best practices
  10. Google Search Central: What is canonicalization
  11. Search Console Help: Page indexing report
  12. Search Console Help: robots.txt report
  13. Search Console Help: URL Inspection tool
  14. Search Console Help: Links report