用 Screaming Frog 做技術 SEO 稽核:逐步指南
簡短回答 安裝 SEO Spider,輸入您的首頁網址,按 Start。小網站用預設設定就行;免費版可爬取 500 個網址。爬取完成後,開啟 Issues 分頁,再依 Google 對每個問題的處理方式排序:先修被封鎖或設為 noindex 的重要頁面,接著是伺服器錯誤、失效連結、重新導向迴圈和標準網址。alt 文字放最後。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話用 Screaming Frog 做技術 SEO 稽核:步驟
爬取、檢視、排序、修正、複查。Screaming Frog 的 SEO Spider 是一套桌面爬蟲工具:它像 Google 的爬蟲一樣順著您網站上的每個連結走,記錄每個網址回傳的結果。以下步驟依據其 2026 年 11 月的使用指南。
| 步驟 | 在 Screaming Frog 的哪裡 | 免費版可用? |
|---|---|---|
| 1. 安裝並輸入您的首頁網址 | 「Enter URL to spider」輸入框,然後按 Start | 可以 |
| 2. 只在網站確實需要時才改設定 | Configuration 選單;File > Settings | 大多數設定需要授權 |
| 3. 爬取結束後執行爬取分析 | Crawl Analysis > Start | 可以,限您能用的篩選條件 |
| 4. 開啟 Issues 分頁 | 右側窗格 | 可以 |
| 5. 依 Google 對問題的處理方式排序 | 下文的表格 | 由您判斷 |
| 6. 匯出修正清單 | Export 按鈕、Bulk Export、Reports | 可以 |
| 7. 重新爬取已修正的頁面 | List 模式:貼上這些網址 | 可以 |
這套軟體需要 64 位元電腦、至少 4 GB 記憶體,可在 Windows、macOS 和 Linux 上執行(Screaming Frog 使用指南:General)。不依賴特定工具的通用稽核方法,請看技術 SEO 稽核。
做稽核需要付費授權嗎?
一般小型企業網站不需要。免費版每次最多爬取 500 個網址。授權每位使用者每年 £199;2026 年 11 月顯示的美元價格為 $279。沒有加幣價格(Screaming Frog:價格頁)。
| 稽核工作 | 免費 | 付費 |
|---|---|---|
| 失效連結、錯誤和重新導向 | 有 | 有 |
| 標題、中繼說明、meta robots(noindex) | 有 | 有 |
| 完全重複的頁面 | 有 | 有 |
| 超過 500 個網址 | 無 | 只受您的記憶體和硬碟限制 |
| 修改爬取設定,包括檢查 XML Sitemap | 無 | 有 |
| JavaScript 算繪 | 無 | 有 |
| 近似重複的頁面、結構化資料檢查 | 無 | 有 |
| Search Console、Analytics 和 PageSpeed 資料 | 無 | 有 |
| 儲存爬取、比較爬取、排程爬取 | 無 | 有 |
如果免費版在 500 個網址處停下而您的頁面還沒爬完,Google Search Console 可以免費補上大部分:Google 眼中的索引狀況、Sitemap 和伺服器錯誤。請看用 Search Console 做技術 SEO 稽核。
爬取前要改哪些設定
小網站通常一個都不用改。預設設定已經用 2 GB 記憶體把爬取資料存到硬碟,遵守您的 robots.txt(告訴爬蟲哪些內容不要爬的檔案),並且每次同時送出 5 個請求,「to not overload servers」(以免伺服器過載)(使用指南:General 和 Configuration)。
| 設定 | 預設 | 什麼時候改 |
|---|---|---|
| 儲存和記憶體(File > Settings) | 資料庫儲存,2 GB 記憶體 | 出現「running out of memory」(記憶體不足)警告時。指南建議爬取 200 萬個網址以內用 4 GB |
| 算繪(Configuration > Spider > Rendering) | Text Only:只讀取原始 HTML | 您的頁面用 JavaScript 產生文字或連結,導致爬取結果中頁面幾乎是空的 |
| robots.txt(Configuration > robots.txt) | 遵守 robots.txt | 您想看 robots.txt 封鎖了什麼。「Ignore robots.txt but report status」會爬取這些頁面並照樣標記出來 |
| XML Sitemap(Configuration > Spider > Crawl) | 關閉 | 您想用 Sitemaps 分頁:勾選「Crawl Linked XML Sitemaps」 |
| Search Console(Configuration > API Access) | 關閉 | 您想看每個頁面在 Google 的索引狀態:每個資源每天最多 2,000 個網址 |
| 爬取分析(Crawl Analysis > Configure) | 在那裡勾選 | 勾選「Auto Analyse At End of Crawl」,免得忘記 |
除非需要,否則不要開 JavaScript 算繪。如果您的文字能在頁面原始碼裡看到,預設設定就夠了;Google 指出,爬取 HTML 的方式「works well for classical websites or server-side rendered pages」(對傳統網站或伺服器端算繪的頁面效果很好)(Google Search Central:JavaScript SEO 基本概念)。如果懷疑有問題,請看JavaScript SEO 稽核。
執行爬取,並判斷什麼時候完成
輸入首頁網址,按 Start,等進度列到 100%。
然後執行 Crawl Analysis > Start。大多數分頁在爬取過程中就會填好,但有些篩選條件要這一步之後才出現:Sitemap 篩選條件、Link Score(0–100 的估計值,表示一個頁面獲得多少內部連結)和近似重複。還在等待的篩選條件會顯示「Crawl Analysis Required」(需要爬取分析)(使用指南:Configuration)。
怎麼看 Issues 分頁
Issues 分頁是一份待辦清單,不是對網站傷害程度的排名。它把發現分為問題(issues)、警告(warnings)和機會(opportunities),每項都標有 High、Medium 或 Low 優先順序。Screaming Frog 自己也說,這些優先順序來自一般的最佳做法:
"They are not hard rules for what should be prioritised in your SEO strategy, or must be 'fixed' in your SEO audit as they lack context." (Screaming Frog: SEO Spider issues) 譯文:「它們並不是 SEO 策略中必須優先處理、或 SEO 稽核中必須『修正』的硬性規定,因為它們缺乏具體情境。」
點開每個問題,問自己:它影響的是能帶來客戶的頁面嗎?舊標籤頁缺少說明可以等;主要服務頁上有 noindex 標記就不能等。
先修什麼
依 Google 對每個問題的處理方式排序,而不是依它有多少列。
| 順序 | 問題 | 在哪裡找 | 為什麼重要 |
|---|---|---|---|
| 1 | 重要頁面被封鎖或設為 noindex | Response Codes > Blocked by Robots.txt;Directives > Noindex | Google 會把 noindex 頁面從搜尋結果中移除 |
| 2 | 伺服器錯誤(5xx) | Response Codes > Server Error (5xx) | 爬取變慢;已建立索引的頁面「eventually dropped」(最終會被移除) |
| 3 | 內部連結指向不存在的頁面(4xx) | Response Codes > Client Error (4xx);Bulk Export:指向 4xx 頁面的內部連結 | Google 會把 4xx 頁面移出索引 |
| 4 | 重新導向迴圈和過長的重新導向鏈 | Response Codes > Redirect Loop、Redirect Chain;Reports > Redirects | Google 最多追蹤 10 次跳轉,然後放棄 |
| 5 | 重要頁面的標準網址指向別處,或沒有標準網址 | Canonicals > Canonicalised、Missing | 您不指定時,Google 會自己選一個版本 |
| 6 | Sitemap 列出了無法建立索引的頁面 | Sitemaps > Non-Indexable URLs in Sitemap(需授權) | Google 只把 Sitemap 當作弱提示 |
| 7 | 重要頁面缺少標題或標題重複 | Page Titles > Missing、Duplicate | 該頁面的搜尋結果呈現較弱;Screaming Frog 稱獨一無二的標題「critical」(至關重要) |
| 8 | 中繼說明、alt 文字、多個 H1 | Meta Description;Images > Missing Alt Text;H1 | 風險低;下次編輯重要頁面時順手修 |
第 1 到 6 列背後是 Google 自己的說法:
"For the noindex rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler." (Google Search Central: Block search indexing with noindex) 譯文:「要讓 noindex 規則生效,該頁面或資源不能被 robots.txt 檔案封鎖,而且必須能被爬蟲正常存取。」
所以,想讓頁面消失,需要 noindex 而且不能被 robots.txt 封鎖;想讓頁面被找到,兩樣都不能有。
"Google's crawlers follow up to 10 redirect hops." (Google Search Central: HTTP status codes and network errors) 譯文:「Google 的爬蟲最多追蹤 10 次重新導向跳轉。」
兩三次的重新導向鏈還能用;下次改動時把它合併成一次跳轉。迴圈永遠到不了終點,所以現在就修。請看301 重新導向問題。
"[I]f you don't specify a canonical URL, Google will identify which version of the URL is objectively the best version to show to users in Search." (Google Search Central: How to specify a canonical URL) 譯文:「如果您不指定標準網址,Google 會判斷該網址的哪個版本客觀上最適合在搜尋中顯示給使用者。」
關於中繼說明,Google 表示摘要「primarily」(主要)來自頁面內容,只是有時才用說明(Google Search Central:摘要)。缺少中繼說明很少是急事。
把爬取結果變成修正清單
匯出資料有三種方式(使用指南:General):
- Export 按鈕(左上角):儲存您正在看的分頁和篩選結果。
- Bulk Export:對於失效連結,匯出連結到它的頁面,也就是您要改的頁面。
- Reports:彙總報表,例如 Redirect Chains。匯出可以直接送到 Google 試算表(Google Sheets)。
用一張表,五欄:網址、問題、修法、誰來做、完成日期。面向客戶的頁面放最上面。修正上線後,切換到 List 模式,只貼上這些網址再爬一次確認。之後在網站改版、外掛變更或流量下降後,重新爬取整個網站;請看多久做一次 SEO 稽核。
範例
以下為示意案例,數字為虛構。
一家 60 個頁面的水電網站(美元)
免費版爬到 410 個網址。Issues 分頁顯示 140 列。其中兩項要緊:「Commercial wiring」(商業配線)頁面帶著架站時留下的 noindex,另有 9 個頁面連結到一個已刪除的優惠券頁面。刪掉標記、改好連結只花了一小時。工具費用:$0。
一家有 1,800 個網址的多倫多律師事務所(加幣)
免費版爬到 500 就停了。事務所沒有為一次稽核買授權,而是查看 Search Console 的網頁索引報表,並用 List 模式只爬取 40 個業務領域頁面。結果發現舊的「contact-us」網址有一個重新導向迴圈。
一家每月複查的牙科集團
有了授權,它在每月 1 日排程爬取,並與上個月比較。一次外掛更新給部落格加上了 noindex。下一次比較就發現了,比流量下降早了好幾週。
常見問題
免費版夠做技術 SEO 稽核嗎?
500 個網址以內,夠用:錯誤、重新導向、noindex、標題和完全重複的頁面都能查。Sitemap 檢查、JavaScript 算繪和 Search Console 資料需要授權。
爬取自己的網站會讓網站變慢嗎?
很少。預設每次同時送 5 個請求。如果您的主機吃不消,有授權就能把速度降到每秒一個網址。
Screaming Frog 能告訴我 Google 收錄了哪些頁面嗎?
單靠它不行。有授權並連結 Search Console 後,它每天可擷取 2,000 個網址在 Google 的索引狀態。否則,請用 Search Console 的索引報表。
您的情況不同?
- 您想要不用爬蟲工具的稽核方法:用 Search Console 做技術 SEO 稽核。
- 您需要完整的稽核順序,包括速度和行動裝置:技術 SEO 稽核。
- 爬取結果顯示頁面是空的:JavaScript SEO 稽核。
- 您要爬取的是競爭對手,而不是自己的網站:用 Screaming Frog 分析競爭對手。
- Search Console 說頁面未建立索引:已檢索或已發現,但尚未建立索引。
- 您希望有人替您看爬取結果並完成修正:SEO 與 GEO 代理。