JetOctopus 網站爬取:設定、大型網站參數和警示
簡短回答 建立專案,點選 New crawl,輸入首頁網址,再選擇模式:整個網站、僅 Sitemap 或網址清單。大型網站要排除追蹤和篩選網址,執行緒數保持偏低,並保留最多 10% 的頁面額度。在個人資料選單中連結 Search Console;設定排程爬取並新增警示。方案每月 $349 起。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話JetOctopus 網站爬取:設定步驟
JetOctopus 是雲端爬蟲:它在自己的伺服器上順著連結逐頁走訪您的網站,方式和 Google 的爬蟲一樣,所以您的電腦完全不用運算。以下步驟依據 JetOctopus 在 2020–2022 年撰寫的說明文章;現在應用程式裡的按鈕名稱可能略有不同。
| 步驟 | 位置 | 設定內容 |
|---|---|---|
| 1. 建立專案 | Dashboard | 一個網站,或網站中的一個區塊,取一個清楚的名稱 |
| 2. 開始爬取 | Project > New crawl | 含 https:// 的首頁網址 |
| 3. 選擇爬取模式 | Basic settings | Default(整個網站)、Only Sitemap 或 URL list |
| 4. 設定範圍和負載 | Basic settings | 子網域、robots 規則、頁面上限、執行緒數、JavaScript |
| 5. 排除無用網址 | Advanced settings | Deny 規則或自訂 robots.txt |
| 6. 儲存並啟動 | 表單底部 | 勾選「Save as project defaults」,再點 Start crawl |
| 7. 連結 Search Console | 頭像圖示 > GSC Integration | +Add Google Account |
| 8. 排程和警示 | 專案選單 | New scheduled crawl,然後 Create alert |
逐項看爬取設定
大多數設定維持預設即可。會改變結果的是這些:
| 設定 | 預設 | 何時修改 |
|---|---|---|
| Crawl Subdomains | 關閉:blog.yoursite.com 被視為另一個網站 | 您希望子網域出現在同一份報告裡 |
| Crawl mode | 找出頁面程式碼裡的每一個連結 | 您只需要 Sitemap 裡的頁面,或一份最多 100,000 個網址的清單 |
| Respect robots rules | 未說明 | 開啟可看到 Google 能爬取什麼;改版前關閉,可看到網站產生的每一個頁面 |
| Execute JavaScript | 未說明 | 您的文字或連結要在指令碼執行後才出現。每個這樣的頁面消耗 2 個頁面額度 |
| Do not crawl URLs with GET parameters | 未說明 | 帶「?」的網址是篩選或追蹤參數,而且您確定 Google 無法爬取或建立索引 |
| Pages limit | 未說明 | 測試時。JetOctopus 建議爬取整個網站 |
| Threads | 未說明 | 只有主機撐得住時才調高。5 個執行緒相當於 5 位訪客同時造訪 |
| Process sitemaps | 未說明 | 勾選後會把 Sitemap 裡的網址加入爬取 |
| Process images data | 關閉 | 您需要圖片的詳細資料 |
| Cookies | 關閉:爬蟲每次都以新訪客身分造訪 | 您的伺服器需要 Cookies |
來源:JetOctopus 關於設定爬取、清單模式和 JavaScript 爬取的說明文章。
如果網站只有幾百個頁面,輸入首頁、勾選 Process sitemaps 再啟動即可。其餘設定在網站很大時才重要。
大型網站的設定
「大型」指數萬個網址以上。JetOctopus 針對大型網站的建議:
- 能爬整個網站就爬整個網站。 JetOctopus 提醒,部分爬取無法顯示內部連結如何在頁面之間傳遞權重。
- 先跑一次小規模測試爬取。 它會顯示您網站產生的網址模式:追蹤標記、工作階段 ID、篩選組合。
- 只排除 Google 存取不到的網址。 使用 Deny 規則(每行一條;規則運算式以 rx: 開頭)。JetOctopus 的前提是:「you must be sure that search engines cannot crawl these URLs」(您必須確定搜尋引擎無法爬取這些網址)。如果 Google 能爬取,它們就應該出現在報告裡。
- 不確定規則怎麼寫?用自訂 robots.txt。 把線上的 robots.txt 複製到 Advanced settings,新增規則,並用 2,000–3,000 個網址測試。
- 保留最多 10% 的頁面額度。 這部分用於重新爬取在爬取過程中回傳伺服器錯誤(5xx)的頁面。
- 保持 nofollow 選項開啟。 關閉後,可能會漏掉以 rel="nofollow" 連結、但可建立索引的頁面。
- 只爬一個資料夾,請用 Allow 規則。 把資料夾網址當作起始網址,仍然會爬取整個網站。
您真的有爬取預算問題嗎?Google 說大多數網站沒有:
"If your site doesn't have a large number of pages that change rapidly, or if your pages seem to be crawled the same day that they are published, you don't need to read this guide." (Google Search Central: Optimize your crawl budget) 譯文:「如果您的網站沒有大量快速變動的頁面,或者您的頁面似乎在發布當天就會被爬取,那麼您無需閱讀本指南。」
Google 這份指南針對的是擁有 100 萬個以上、每週變動的頁面的網站,或 10,000 個以上、每天變動的頁面的網站。請參閱爬取預算。
關於 JavaScript:只有頁面需要時才開啟。Google 指出,爬取並讀取 HTML 的方式「works well for classical websites or server-side rendered pages」(對傳統網站或伺服器端算繪的頁面效果很好)(Google Search Central: JavaScript SEO basics)。預設算繪時間為 10 秒;請參閱 JavaScript SEO 稽核。
連結 Google Search Console
連結在帳戶層級設定一次即可,不必每次爬取都設定:
- 點選右上角的頭像圖示,再點 GSC Integration。
- 點選 +Add Google Account。
- 允許 JetOctopus 讀取您的 Search Console 資料。該 Google 帳戶必須已在 Search Console 中完成驗證。
各方案可連結的 Search Console 資源數量有上限:Growth 為 3 個,Pro 為 10 個,適用企業內部團隊的 Ultra 為 20 個(JetOctopus 定價)。如果您還沒設定 Search Console,請先看免費的 Search Console 技術 SEO 稽核。
排程爬取和設定警示
排程: 在專案選單中點選 New scheduled crawl。選擇每天、每週、每兩週或每月(或選 Once,稍後執行一次),以及星期幾、開始日期和時區。頻率要和網站的更新頻率相符;JetOctopus 建議每次發布後用排程爬取追蹤變化。每次排程爬取都會消耗您每月的頁面額度。
警示: JetOctopus 表示客戶「can set up an unlimited number of alerts for free」(可以免費設定無限數量的警示),涵蓋四個方面:記錄檔、Search Console、爬取和 Core Web Vitals(速度分數)。每個警示包含三個部分:
| 部分 | 您要選擇的內容 |
|---|---|
| Configure conditions | 要監控的資料和頁面 |
| Alert configuration | 多久檢查一次、什麼情況觸發;可用「Test Alert」試跑 |
| Send alerts to | 電子郵件地址、Slack,或含國碼的簡訊 |
對大多數網站有用的警示:重要頁面不再回傳 200(正常)、重要頁面從 Google 索引中消失、發布後重複標題增加一半。爬取和 Core Web Vitals 警示需要排程爬取。記錄檔警示需要直接串接伺服器記錄檔;手動上傳的記錄檔無法觸發警示。記錄檔能看出什麼,請參閱 AI 爬蟲伺服器記錄檔。
小型企業需要 JetOctopus 嗎?
通常不需要。2026 年 11 月的月費:Growth $349(500,000 個爬取網址)、Pro $809(200 萬個)、Ultra $1,559(500 萬個),按年計費;按季計費大約貴三分之一。可免費試用 7 天,需先預約展示,不需信用卡。價格以美元或歐元計,沒有加幣價格(JetOctopus 定價)。
頁面少於幾千個的網站,可以走免費路線:
- Google Search Console: 看 Google 實際爬取和建立索引了什麼。
- Screaming Frog SEO Spider 免費版: 在您自己的電腦上最多爬取 500 個網址(Screaming Frog 定價)。
當網站有數十萬個網址,或者您需要把伺服器記錄檔、爬取和 Search Console 集中在一處並搭配警示時,JetOctopus 才值這個價錢。完整的稽核順序,請參閱技術 SEO 稽核。
範例
以下為說明用案例,數字是虛構的。
一家有 400,000 個網址的網路商店(美元)
一次 3,000 個網址的測試爬取顯示,70% 的網址是顏色和尺寸篩選,全部已在 robots.txt 中封鎖。這家店把 robots.txt 複製到自訂欄位,把上限設為 450,000 以保留 10% 餘裕,使用每月 $349 的 Growth 方案執行。
溫哥華一家有 80 個頁面的居家服務公司(加幣)
展示顯示,JetOctopus 沒有提供 Search Console 和免費 500 個網址爬取以外的任何東西。每月工具費用仍為 $0。
每週複查的新聞網站
每週一次的排程爬取,加上針對重複標題的 Slack 警示,在一次發布後的隔天早上就抓到一個範本錯誤。
常見問題
JetOctopus 爬取一次要多久?
JetOctopus 沒有公布速度。這取決於網站規模、執行緒數和 JavaScript 算繪;執行緒越多完成越快,但伺服器負載也越大。
用 JetOctopus 爬取會拖慢我的網站嗎?
有可能。每個執行緒相當於一位訪客,所以先用少量執行緒,只有主機撐得住時再增加。
可以只爬取一個區塊嗎?
可以。為該資料夾設定 Allow 規則,或把網址貼到 URL list 模式(最多 100,000 個)。
警示要額外付費嗎?
據 JetOctopus 表示不用。不過爬取和速度警示依賴排程爬取,而排程爬取會消耗您的頁面額度。
您的情況不同?
- 您的網站頁面少於幾千個:Search Console 技術 SEO 稽核。
- Google 爬取您的新頁面很慢:爬取預算。
- 您的頁面在爬取結果中是空白的:JavaScript SEO 稽核。
- 您想了解完整的稽核方法,不限工具:技術 SEO 稽核。
- 您希望有人替您執行爬取並完成修正:SEO 與 GEO 代理。