產品 SEO 與 GEO 代理 付費廣告代理 網站代理 轉換代理
運作方式 方案 常見問題 部落格 預約通話

非監督式學習:它如何在商業資料中找出規律

更新於 · 閱讀約 7 分鐘

簡短回答 非監督式學習是一種沒有正確答案可學的機器學習。它直接看您的原始紀錄,自己找出其中的結構。企業最常用的兩項工作:分群,把行為相似的客戶分成一組;關聯分析,找出客戶經常一起購買的東西。要輸入哪些資料、給群組取什麼名字,仍然由您決定。

想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。

預約通話

什麼是非監督式學習?

它是沒有標準答案的機器學習。您把一張表交給軟體,例如每位客戶一列,它會告訴您哪些列彼此相似,或哪些商品總是一起出現。沒有人告訴它要找什麼。Google 的詞彙表這樣定義:

"Training a model to find patterns in a dataset, typically an unlabeled dataset." (Google Machine Learning Glossary) 譯文:「訓練模型在資料集中找出規律,這種資料集通常沒有標籤。」

「沒有標籤」是指沒有任何一欄寫明正確答案。一份包含來店次數、消費金額和服務項目的客戶名單,就是沒有標籤的。加上一欄「是否取消:是或否」,就有了標籤。

監督式學習非監督式學習
它拿到什麼已經填好答案的過往範例原始紀錄,沒有答案欄
它做什麼為新情況預測答案找出群組、關聯和異常情況
商業問題「這些潛在客戶裡誰會預約?」「我有哪幾類客戶?」
您需要足夠多的過往結果供它學習乾淨的紀錄和有用的欄位

Google 的課程用一句話說清了核心:監督式模型是在「after seeing lots of data with the correct answers」(看過大量附有正確答案的資料之後)學會的(Google for Developers)。非監督式模型從來看不到正確答案。

分群:它如何把客戶分組

分群是最主要的用途。Google 的詞彙表說,「the most common use of unsupervised machine learning is to cluster data into groups of similar examples」(非監督式機器學習最常見的用途,是把資料分群成由相似樣本組成的群組)(Google Machine Learning Glossary)。對企業來說,樣本就是客戶,群組就是區隔市場。

最常用的方法是 k-means(Google for Developers: Clustering algorithms)。以下是它處理一份客戶名單的過程:

  1. 由您決定分幾組,這個數字叫 k。例如 4。這個方法無法替您決定:「This algorithm requires the number of clusters to be specified」(此演算法需要指定群集數量)(scikit-learn)。
  2. 它在資料中放下 4 個起始點,每組一個。
  3. 每位客戶歸入離自己最近的點,距離依您提供的欄位衡量:每年來幾次、平均客單價、距上次服務幾個月。
  4. 每個點移到該組客戶的正中間。
  5. 重複第 3 步和第 4 步,直到沒有人再換組。

您拿到的結果是每位客戶身上的一個組別編號。不是名字,也沒有意義。Google 對此說得很直接:

"An unsupervised approach doesn't know what the clusters of data mean. Based on your understanding of the data, it's up to you to define them." (Google for Developers: What is machine learning?) 譯文:「非監督式方法不知道這些資料群集代表什麼。要根據您對資料的理解,由您來定義它們。」

所以您要看每組的平均值,自己為它命名:「每年大額消費客戶」「一次性緊急到府」「不再上門的老客戶」。命名這一步才是商業價值所在,而且這一步屬於您。

哪種分群方法適合?

方法如何分組注意
K-means圍繞每組的一個中心點組數由您決定;離群值會把中心拉偏(Google)
DBSCAN(以密度為基礎)依客戶聚集緊密的地方孤立的紀錄會被標為離群值,不歸入任何組(scikit-learn)
階層式分群建立一棵組中有組的樹多數方法在大名單上會變慢;k-means 擴充性佳(Google)
高斯混合給出每位客戶屬於每一組的機率(Google)較難向團隊解釋

客戶名單在幾百到幾千列之間時,通常先用 k-means。試試分 3、4、5 組,保留您能據以行動的那個版本。

關聯分析:哪些東西被一起購買

關聯分析找出「買 X 的人常常也買 Y」這類規則。它處理的是訂單,不是客戶:每一列是一張訂單和其中的商品。零售業者稱之為購物籃分析。

三個數字決定一條規則是否值得使用。Apache Spark 的文件這樣定義:

  • 支持度(Support): 這些商品整體出現得有多頻繁。「If an item appears 3 out of 5 transactions, it has a support of 3/5=0.6.」(如果某商品在 5 筆交易中出現 3 次,它的支持度就是 3/5=0.6。)
  • 信賴度(Confidence): 含 X 的訂單中,有多少也含 Y。它是「an indication of how often an association rule has been found to be true」(衡量一條關聯規則被證實成立的頻率)。
  • 增益(Lift): X 是否真的提高了購買 Y 的機率,還是 Y 本來就熱門。大於 1 表示兩者一起出現的次數比隨機情況更多。

(Apache Spark 4.3.0: Frequent Pattern Mining)。Spark 用一種叫 FP-growth 的方法找出這些規則;看懂結果不需要知道它怎麼運作。

舉個算例。一家居家服務公司有 1,000 筆工作。清理排水槽出現在 200 筆裡,洗窗出現在 250 筆裡,兩項都有的是 100 筆。

指標算式結果
支持度(兩項都有)100 ÷ 1,0000.10
信賴度(排水槽 → 洗窗)100 ÷ 2000.50
增益0.10 ÷ (0.20 × 0.25)2.0

一半的排水槽客戶也預約了洗窗,是隨機預期比例的兩倍。這值得在排水槽清理的預約頁面上做成組合推薦。

網路商店可能已經在用類似功能。Shopify 表示,它的自動相關商品推薦可以參考「products that have historically been purchased together」(過去曾被一起購買的商品)(Shopify Dev)。它的加購(「互補」)商品推薦則不是自動的:「Complementary recommendations need to be manually set up」(互補推薦需要手動設定)(Shopify Dev)。關聯分析能告訴您該設定哪些。

它還能做什麼?

還有兩項工作,對小型企業來說較不常用:

  • 異常偵測: 標出不符合任何規律的紀錄,例如退款暴增或大量假的潛在客戶湧入。Google 的詞彙表稱之為「the process of identifying outliers」(辨識離群值的過程)(Google Machine Learning Glossary)。
  • 降維: 把許多欄位壓縮成少數幾欄,例如把 40 個問卷答案變成 3 個可以畫成圖表的分數。它常在分群之前執行(Google for Developers)。

需要什麼資料?

一張每位客戶(或每張訂單)一列的表,再加上幾個描述行為的數字欄位。客戶資料通常用這幾項:最近一次購買是多久以前、買得多頻繁、花了多少錢。訂單資料則是每張訂單裡的商品。

有兩條資料準備規則很重要:

  • 讓各欄處於相同尺度。 Google 的分群課程說,比較客戶「requires the features to have the same scale」(需要各特徵處於相同尺度)(Google for Developers: Prepare data)。否則一欄 $5,000 的消費額會壓過一欄 3 次的來店次數,分組就只按消費額排序了。
  • 處理離群值。 一筆 $80,000 的商業案件就能單獨把一個 k-means 組的中心拉偏。Google 建議先移除或截斷離群值(Google for Developers)。

把紀錄上傳到任何 AI 工具之前,先刪掉姓名、電子郵件和電話號碼。美國和加拿大在這方面的隱私規定,請見 AI 客戶區隔與個人化。

怎麼知道分組是真的?

要去檢驗。沒有標準答案可以對照評分:

"Because clustering doesn't produce or include a ground "truth" against which you can verify the output, it's important to check the result against your expectations at both the cluster level and the example level." (Google for Developers: Clustering workflow) 譯文:「由於分群不會產生也不包含可用來驗證輸出的『真實答案』,因此需要在群集層面和樣本層面都把結果與您的預期對照檢查。」

實際做法:

  1. 每組看 10 位客戶。 如果說不出他們為什麼屬於同一組,就換欄位或換組數。
  2. 確認每組大到值得行動。 12 個人的組只是一份名單,不是區隔市場。
  3. 給每組寄不同的優惠,比較回覆或預約情況。如果某個區隔群體的反應和其他人一樣,就不值得保留。

沒有資料科學家,小型企業能用嗎?

可以,上面兩項工作都行。工具已經變了:您可以用白話描述任務,讓 AI 工具寫程式並執行。

方式做什麼適合
可上傳檔案的聊天機器人對您上傳的試算表執行 k-means 或購物籃分析一次性查看幾千列資料;步驟請見 AI 客戶區隔
您的網路商店或電子郵件行銷平台內建的相關商品推薦或客戶區隔持續使用,不必匯出
自己寫規則「消費超過 $1,000,12 個月內沒有下單」客戶少於幾百位;請見 市場區隔

名單不大時,簡單規則往往比分群更好用。當欄位很多、肉眼看不出分組時,分群才真正有價值。

範例

一家有 1,500 位客戶的清潔公司(美元)

老闆匯出每位客戶一列:過去一年的服務次數、平均單價、距上次服務幾個月。聊天機器人以 4 組執行 k-means。她看了平均值後為各組命名:每週固定客戶(300)、搬家一次性客戶(600)、季節性深度清潔客戶(400)和流失的老客戶(200)。流失組在不再上門之前平均每年消費 $1,800,最先收到挽回郵件。

一家有 8,000 筆網路訂單的自行車店(加幣)

對訂單做關聯分析發現:安全帽出現在 900 筆訂單裡,車燈出現在 600 筆裡,兩者都有的是 360 筆。從安全帽到車燈的信賴度是 40%,增益是 5.3。這家店在每個安全帽頁面上都把車燈設為加購推薦商品。

常見問題

非監督式學習就是 AI 嗎?

它是機器學習的一種,而機器學習是 AI 的一部分。可上傳檔案的聊天機器人能幫您執行分群,但聊天機器人本身是另一種 AI。

做分群需要多少客戶?

沒有固定下限。客戶少於幾百位時,您通常用簡單的篩選就能自己看出分組,分群幫助不大。

分群和區隔有什麼差別?

區隔是行銷目標:區別對待的客戶群組。分群是從資料中找出這些群組的一種方法,而不是手動挑選。

非監督式學習能預測誰會購買嗎?

不能。預測一個結果需要該結果的過往範例,那是監督式學習。不過分群可以為預測提供輸入:把組別編號當作多加的一欄。

您的情況不同?

繼續閱讀

下一篇GPT 是什麼意思?用白話講清楚GPT 是 generative pre-trained transformer(生成式預訓練 Transformer)的縮寫。每個字的意思、GPT 如何一點一點寫出文字,以及它為什麼會說得很肯定卻出錯。

問我們一個問題

一句話就夠了。我們會以電子郵件回覆。

出處

  1. Google Machine Learning Glossary
  2. Google for Developers: What is machine learning? (ML concepts)
  3. Google for Developers: What is clustering?
  4. Google for Developers: Clustering workflow
  5. Google for Developers: Prepare data for clustering
  6. Google for Developers: Clustering algorithms
  7. Google for Developers: Advantages and disadvantages of k-means
  8. scikit-learn 1.9.1 documentation: Clustering
  9. Apache Spark 4.3.0 documentation: Frequent Pattern Mining
  10. Shopify Dev: Product recommendations
  11. Shopify Dev: Show related products on product pages