爬取競爭對手網站能看到什麼,看不到什麼
能看到網站是怎麼架設的,看不到它的成效。Screaming Frog 的 SEO Spider 是一套爬蟲工具:一個桌面程式,像 Google 自己的爬蟲一樣順著網站上的連結走,列出它到達的每個網址。
| 能看到 | 看不到 |
|---|---|
| 透過連結能到達的每個頁面,以及它們所在的資料夾(/services/、/locations/) | 網站上沒有任何連結指向的頁面 |
| 每個頁面的標題、中繼說明(搜尋結果下方的那段摘要)和標題標籤 | 每個頁面有多少訪客 |
| 字數,以及網站本身有多少連結指向每個頁面 | 對方在哪些搜尋中有排名,排第幾 |
| 失效連結、重新導向,以及沒有 alt 文字(對圖片的文字描述)的圖片 | 哪些其他網站連結到對方(沒有連結資料外掛時) |
| 對方的 Google 商家檔案(Google Business Profile)、評論或廣告 |
流量是大家最容易忽略的盲點。這個工具可以匯入 Search Console 和 Analytics 的資料,但依其使用指南的說法,只能透過連結「a Google account (which has access to the Search Console account you wish to query)」(一個能存取您要查詢的 Search Console 帳戶的 Google 帳戶)。競爭對手的資料是保密的。
在在地搜尋中,網站只是競爭的一部分:
"Local results are mainly based on relevance, distance, and popularity." (Google Business Profile Help: Tips to improve your local ranking on Google) 譯文:「在地搜尋結果主要取決於關聯性、距離和知名度。」
在 Google 地圖上勝過您的對手,可能只是評論更多,或者離搜尋者更近。這些爬取都看不出來;請看如何在 Google 地圖上排名更前面。
免費還是付費:需要買授權嗎?
如果只是一次性看看幾個小競爭對手,不需要。免費版每次爬取最多 500 個網址。付費方面:
"For £199 a year you can buy a licence, which removes the 500 URL crawl limit." (Screaming Frog SEO Spider user guide: General) 譯文:「每年 £199 即可購買授權,取消 500 個網址的爬取上限。」
| 免費 | 付費授權 | |
|---|---|---|
| 價格 | $0 | 每位使用者每年 £199;2026 年 11 月顯示的美元價格為 $279 |
| 每次爬取的頁面數 | 500 | 只受您電腦的記憶體和硬碟限制 |
| 標題、說明、標題標籤、失效連結、重新導向、完全重複的頁面 | 有 | 有 |
| 修改設定(略過圖片、限制深度、放慢爬取) | 無 | 有 |
| 儲存爬取、重新開啟、比較兩次爬取 | 無 | 有 |
| 排程爬取 | 無 | 有 |
| 自訂擷取(擷取任何元素,例如價格) | 無 | 有 |
| Search Console、Analytics、PageSpeed 和反向連結資料 | 無 | 有;Search Console 和 Analytics 僅限您能開啟的帳戶 |
Screaming Frog 的價格頁列出美元、英鎊和歐元價格,沒有加幣價格。授權效期一年,限一人使用。
常見的建議是爬取前取消勾選圖片、CSS 和 JavaScript,但這對免費使用者不適用:使用指南說,授權「also provides access to the configuration」(還提供設定功能的使用權限)。
只有在對手有幾千個頁面、而您需要完整爬取,或者您要定期重新爬取時,才值得買。如果只想粗略列出對手的頁面,在 Google 搜尋「site:theirsite.com」就行,免費,不過 Google 表示這份清單「is not always exhaustive」(不一定完整)(Google Search Central: site: search operator)。
如何一步步爬取競爭對手的網站
以下步驟依據 2026 年 11 月 Screaming Frog 的使用指南,使用免費版。
- 選兩三個對手。 在 Google 搜尋您的主要服務加上您所在的城鎮。地圖下方一般結果裡的網站,才是爬取能讓您學到東西的對象。略過 Yelp 這類目錄網站,選和您類似的商家。
- 安裝。 從 Screaming Frog 網站下載 SEO Spider。它支援 Windows、macOS 和 Linux(Ubuntu 和 Fedora),需要「a 64-bit OS with at least 4gb of RAM available」(64 位元作業系統,至少有 4GB 可用記憶體)。
- 先爬取您自己的網站。 在上方的網址列輸入您的首頁網址,按 Start。這是您的基準。
- 匯出。 左上角的 Export 按鈕會把目前檢視的分頁存成試算表。請在下一次爬取前匯出:儲存和重新開啟爬取需要授權。
- 爬取對手網站。 輸入對方的首頁網址,按 Start。預設情況下,工具會遵守網站的 robots.txt(告訴爬蟲哪些內容不要爬取的檔案),並以 5 個執行緒(平行請求)運作,「to not overload servers」(以免讓伺服器超載)。
- 留意回應代碼。 如果出現大量 403(禁止存取)或 429(請求過多)代碼,表示對方網站在拒絕或限制這個爬蟲。到此為止。有授權的話,可以在 Configuration > Speed 裡把速度降到每秒一個頁面。
- 只需要某一部分? 從 /services/ 這樣的資料夾開始,在上方的切換器裡選 Subfolder。前提是這個資料夾的主頁面連結到了裡面的各個頁面。也可以切換到 List 模式,貼上確切的網址。
該看哪些分頁,它們告訴您什麼
每個檢視都可以變成一個關於您自己網站的問題。
| 分頁(篩選條件) | 看什麼 | 對您有什麼啟示 |
|---|---|---|
| Internal (HTML) | 每個頁面及其所在的資料夾 | 對方有、您沒有的服務、城鎮或常見問題頁面 |
| Page Titles | 對方的格式:服務、城鎮、品牌名稱 | 您該怎麼寫自己的標題。Google 認為好的標題應「unique to the page, clear and concise」(每個頁面獨有,清楚簡潔) |
| Meta Description | 優惠、價格、點擊的理由 | 對方在訪客進站前承諾了什麼 |
| H1 和 H2 | 一個服務頁面怎麼分段:費用、流程、保固、常見問題 | 您的頁面也應該回答的問題 |
| Internal: Inlinks 和 Crawl Depth | 網站內部連結最多的頁面;離首頁要點很多次的頁面 | 對方最主力推的是哪些頁面,您的頁面是否藏得太深 |
| Response Codes (Client Error 4xx) 和 Images (Missing Alt Text) | 失效頁面和沒有描述的圖片 | 在您自己的爬取結果裡做同樣的檢查 |
根據 Google 的《SEO 入門指南》,有三件事看起來重要,其實大多不重要:
- 字數。 「The length of the content alone doesn't matter for ranking purposes.」(單靠內容長度對排名沒有影響。)對手的頁面更長,並不是您要超越的目標。
- 標題標籤的數量和順序。 順序有助於螢幕閱讀器,但「from Google Search perspective, it doesn't matter if you're using them out of order.」(從 Google 搜尋的角度看,順序亂了也沒關係。)Screaming Frog 會標出有多個 H1 的頁面,但它自己的指南也說這「not strictly an issue」(嚴格來說不算問題)。
- 網址裡的關鍵字。 網域或網址路徑裡的關鍵字「alone have hardly any effect beyond appearing in breadcrumbs」(除了出現在麵包屑導覽中,本身幾乎沒有作用)。
把爬取結果變成待辦清單
先修好自己的問題,再補真正的缺口:
- 您自己的錯誤。 您爬取結果中的失效連結和缺少的標題,是最便宜的修正。右側的 Issues 分頁依優先順序列出了它們。
- 您有提供卻從沒介紹過的服務。 如果對手有專門的通水管頁面,而您只是列了一下,就用您自己的價格、照片和流程寫一個頁面。
- 指向賺錢頁面的連結。 如果對方的核心服務頁面從首頁點一次就到,而您的要點三次,就把您的放進選單。
- 別學對方的城鎮頁面農場。 爬取常會發現幾十個幾乎一樣的頁面,每個城鎮一個。請看服務區域的城市頁面。
- 訂個日期再看一次。 當對手開始超越您時,或者每隔幾個月,重新爬取一次。有授權的話,排程爬取和爬取比較會幫您完成。
Google 的兩條規則決定了能借鏡到什麼程度。它的品質自我檢查問題之一是:
"If the content draws on other sources, does it avoid simply copying or rewriting those sources, and instead provide substantial additional value and originality?" (Google Search Central: Creating helpful, reliable, people-first content) 譯文:「如果內容參考了其他來源,是否避免了單純複製或改寫這些來源,而是提供了大量額外價值和原創性?」
它的垃圾內容政策還把以下行為列為入口網頁濫用:「Having multiple domain names or pages targeted at specific regions or cities that funnel users to one page」(擁有多個針對特定地區或城市的網域或頁面,把使用者導向同一個頁面)(Google Search Central: Spam policies for Google web search)。
爬取回答不了的問題,用免費工具:
| 問題 | 免費工具 |
|---|---|
| 哪些搜尋會顯示我的網站? | Google Search Console,僅限您自己的網站(指南) |
| 客戶會輸入哪些字? | Search Console、搜尋自動完成和 Keyword Planner(指南) |
| 對方的頁面對真實訪客來說更快嗎? | Google 的 PageSpeed Insights:頁面造訪量足夠時,顯示過去 28 天真實使用者的體驗(指南) |
| 誰連結到了對方? | Ahrefs、Majestic 或 Moz 這類連結資料庫,大多收費;請看在地商家的反向連結 |
範例
以下是說明用的案例,數字為虛構。
屋頂承包商和排名第一的對手(美元)
對手網站有 180 個網址,免費爬取就能涵蓋。Internal 分頁顯示,對方有金屬屋頂、風暴損害、保險理賠和分期付款等頁面;這位屋頂承包商只有一個「服務」頁面。計畫:寫四個頁面,用他自己的價格和施工照片,每個都放進選單。工具費用:$0。
卡加利的一家物理治療診所(加幣)
對手有 2,400 個網址,大部分是部落格文章,所以從首頁開始的免費爬取在 500 處停止。老闆沒有買授權,而是從對手的 /services/ 資料夾開始爬取,拿到了全部 40 個服務頁面。其中三項是她有提供卻從沒寫過介紹的療法。
面對 70 個城鎮頁面的園藝造景業者
對手的每個城鎮頁面文字都一樣,只換了城鎮名稱。他沒有照抄,而是為五個他確實有實際案件、照片和評論的城鎮做了頁面。
常見問題
Screaming Frog 免費嗎?
免費,每次爬取最多 500 個網址。授權(每位使用者每年 £199 或 US$279,2026 年 11 月)會增加設定、儲存爬取、排程爬取和資料整合功能。
競爭對手會知道我爬取了他們的網站嗎?
有可能。預設情況下,它在每次請求中自稱「Screaming Frog SEO Spider」,並遵守對方的 robots.txt;這個名稱可能出現在對方的伺服器紀錄裡。
Screaming Frog 能顯示競爭對手的關鍵字、流量或反向連結嗎?
單靠它不行。它只能讀取您能開啟的 Search Console 和 Analytics 帳戶。反向連結需要授權,再加一個 Ahrefs、Majestic 或 Moz 帳戶。
您的情況不同?
- 您想知道客戶搜尋什麼:在地商家的關鍵字研究。
- 您正在寫服務頁面:服務頁面的頁面內 SEO。
- 對手為每個城鎮都做了頁面:服務區域的城市頁面。
- 您想要像對方那樣的連結:在地商家的反向連結。
- 對手贏在地圖上,而不是網站上:如何在 Google 地圖上排名更前面。
- 您希望有人替您做比較和修正:SEO 與 GEO 代理。