非監督式學習:它如何在商業資料中找出規律
簡短回答 非監督式學習是一種沒有正確答案可學的機器學習。它直接看您的原始紀錄,自己找出其中的結構。企業最常用的兩項工作:分群,把行為相似的客戶分成一組;關聯分析,找出客戶經常一起購買的東西。要輸入哪些資料、給群組取什麼名字,仍然由您決定。
想把這些用在您的生意上?預約一次 30 分鐘的免費通話,一起聊聊。
預約通話什麼是非監督式學習?
它是沒有標準答案的機器學習。您把一張表交給軟體,例如每位客戶一列,它會告訴您哪些列彼此相似,或哪些商品總是一起出現。沒有人告訴它要找什麼。Google 的詞彙表這樣定義:
"Training a model to find patterns in a dataset, typically an unlabeled dataset." (Google Machine Learning Glossary) 譯文:「訓練模型在資料集中找出規律,這種資料集通常沒有標籤。」
「沒有標籤」是指沒有任何一欄寫明正確答案。一份包含來店次數、消費金額和服務項目的客戶名單,就是沒有標籤的。加上一欄「是否取消:是或否」,就有了標籤。
| 監督式學習 | 非監督式學習 | |
|---|---|---|
| 它拿到什麼 | 已經填好答案的過往範例 | 原始紀錄,沒有答案欄 |
| 它做什麼 | 為新情況預測答案 | 找出群組、關聯和異常情況 |
| 商業問題 | 「這些潛在客戶裡誰會預約?」 | 「我有哪幾類客戶?」 |
| 您需要 | 足夠多的過往結果供它學習 | 乾淨的紀錄和有用的欄位 |
Google 的課程用一句話說清了核心:監督式模型是在「after seeing lots of data with the correct answers」(看過大量附有正確答案的資料之後)學會的(Google for Developers)。非監督式模型從來看不到正確答案。
分群:它如何把客戶分組
分群是最主要的用途。Google 的詞彙表說,「the most common use of unsupervised machine learning is to cluster data into groups of similar examples」(非監督式機器學習最常見的用途,是把資料分群成由相似樣本組成的群組)(Google Machine Learning Glossary)。對企業來說,樣本就是客戶,群組就是區隔市場。
最常用的方法是 k-means(Google for Developers: Clustering algorithms)。以下是它處理一份客戶名單的過程:
- 由您決定分幾組,這個數字叫 k。例如 4。這個方法無法替您決定:「This algorithm requires the number of clusters to be specified」(此演算法需要指定群集數量)(scikit-learn)。
- 它在資料中放下 4 個起始點,每組一個。
- 每位客戶歸入離自己最近的點,距離依您提供的欄位衡量:每年來幾次、平均客單價、距上次服務幾個月。
- 每個點移到該組客戶的正中間。
- 重複第 3 步和第 4 步,直到沒有人再換組。
您拿到的結果是每位客戶身上的一個組別編號。不是名字,也沒有意義。Google 對此說得很直接:
"An unsupervised approach doesn't know what the clusters of data mean. Based on your understanding of the data, it's up to you to define them." (Google for Developers: What is machine learning?) 譯文:「非監督式方法不知道這些資料群集代表什麼。要根據您對資料的理解,由您來定義它們。」
所以您要看每組的平均值,自己為它命名:「每年大額消費客戶」「一次性緊急到府」「不再上門的老客戶」。命名這一步才是商業價值所在,而且這一步屬於您。
哪種分群方法適合?
| 方法 | 如何分組 | 注意 |
|---|---|---|
| K-means | 圍繞每組的一個中心點 | 組數由您決定;離群值會把中心拉偏(Google) |
| DBSCAN(以密度為基礎) | 依客戶聚集緊密的地方 | 孤立的紀錄會被標為離群值,不歸入任何組(scikit-learn) |
| 階層式分群 | 建立一棵組中有組的樹 | 多數方法在大名單上會變慢;k-means 擴充性佳(Google) |
| 高斯混合 | 給出每位客戶屬於每一組的機率(Google) | 較難向團隊解釋 |
客戶名單在幾百到幾千列之間時,通常先用 k-means。試試分 3、4、5 組,保留您能據以行動的那個版本。
關聯分析:哪些東西被一起購買
關聯分析找出「買 X 的人常常也買 Y」這類規則。它處理的是訂單,不是客戶:每一列是一張訂單和其中的商品。零售業者稱之為購物籃分析。
三個數字決定一條規則是否值得使用。Apache Spark 的文件這樣定義:
- 支持度(Support): 這些商品整體出現得有多頻繁。「If an item appears 3 out of 5 transactions, it has a support of 3/5=0.6.」(如果某商品在 5 筆交易中出現 3 次,它的支持度就是 3/5=0.6。)
- 信賴度(Confidence): 含 X 的訂單中,有多少也含 Y。它是「an indication of how often an association rule has been found to be true」(衡量一條關聯規則被證實成立的頻率)。
- 增益(Lift): X 是否真的提高了購買 Y 的機率,還是 Y 本來就熱門。大於 1 表示兩者一起出現的次數比隨機情況更多。
(Apache Spark 4.3.0: Frequent Pattern Mining)。Spark 用一種叫 FP-growth 的方法找出這些規則;看懂結果不需要知道它怎麼運作。
舉個算例。一家居家服務公司有 1,000 筆工作。清理排水槽出現在 200 筆裡,洗窗出現在 250 筆裡,兩項都有的是 100 筆。
| 指標 | 算式 | 結果 |
|---|---|---|
| 支持度(兩項都有) | 100 ÷ 1,000 | 0.10 |
| 信賴度(排水槽 → 洗窗) | 100 ÷ 200 | 0.50 |
| 增益 | 0.10 ÷ (0.20 × 0.25) | 2.0 |
一半的排水槽客戶也預約了洗窗,是隨機預期比例的兩倍。這值得在排水槽清理的預約頁面上做成組合推薦。
網路商店可能已經在用類似功能。Shopify 表示,它的自動相關商品推薦可以參考「products that have historically been purchased together」(過去曾被一起購買的商品)(Shopify Dev)。它的加購(「互補」)商品推薦則不是自動的:「Complementary recommendations need to be manually set up」(互補推薦需要手動設定)(Shopify Dev)。關聯分析能告訴您該設定哪些。
它還能做什麼?
還有兩項工作,對小型企業來說較不常用:
- 異常偵測: 標出不符合任何規律的紀錄,例如退款暴增或大量假的潛在客戶湧入。Google 的詞彙表稱之為「the process of identifying outliers」(辨識離群值的過程)(Google Machine Learning Glossary)。
- 降維: 把許多欄位壓縮成少數幾欄,例如把 40 個問卷答案變成 3 個可以畫成圖表的分數。它常在分群之前執行(Google for Developers)。
需要什麼資料?
一張每位客戶(或每張訂單)一列的表,再加上幾個描述行為的數字欄位。客戶資料通常用這幾項:最近一次購買是多久以前、買得多頻繁、花了多少錢。訂單資料則是每張訂單裡的商品。
有兩條資料準備規則很重要:
- 讓各欄處於相同尺度。 Google 的分群課程說,比較客戶「requires the features to have the same scale」(需要各特徵處於相同尺度)(Google for Developers: Prepare data)。否則一欄 $5,000 的消費額會壓過一欄 3 次的來店次數,分組就只按消費額排序了。
- 處理離群值。 一筆 $80,000 的商業案件就能單獨把一個 k-means 組的中心拉偏。Google 建議先移除或截斷離群值(Google for Developers)。
把紀錄上傳到任何 AI 工具之前,先刪掉姓名、電子郵件和電話號碼。美國和加拿大在這方面的隱私規定,請見 AI 客戶區隔與個人化。
怎麼知道分組是真的?
要去檢驗。沒有標準答案可以對照評分:
"Because clustering doesn't produce or include a ground "truth" against which you can verify the output, it's important to check the result against your expectations at both the cluster level and the example level." (Google for Developers: Clustering workflow) 譯文:「由於分群不會產生也不包含可用來驗證輸出的『真實答案』,因此需要在群集層面和樣本層面都把結果與您的預期對照檢查。」
實際做法:
- 每組看 10 位客戶。 如果說不出他們為什麼屬於同一組,就換欄位或換組數。
- 確認每組大到值得行動。 12 個人的組只是一份名單,不是區隔市場。
- 給每組寄不同的優惠,比較回覆或預約情況。如果某個區隔群體的反應和其他人一樣,就不值得保留。
沒有資料科學家,小型企業能用嗎?
可以,上面兩項工作都行。工具已經變了:您可以用白話描述任務,讓 AI 工具寫程式並執行。
| 方式 | 做什麼 | 適合 |
|---|---|---|
| 可上傳檔案的聊天機器人 | 對您上傳的試算表執行 k-means 或購物籃分析 | 一次性查看幾千列資料;步驟請見 AI 客戶區隔 |
| 您的網路商店或電子郵件行銷平台 | 內建的相關商品推薦或客戶區隔 | 持續使用,不必匯出 |
| 自己寫規則 | 「消費超過 $1,000,12 個月內沒有下單」 | 客戶少於幾百位;請見 市場區隔 |
名單不大時,簡單規則往往比分群更好用。當欄位很多、肉眼看不出分組時,分群才真正有價值。
範例
一家有 1,500 位客戶的清潔公司(美元)
老闆匯出每位客戶一列:過去一年的服務次數、平均單價、距上次服務幾個月。聊天機器人以 4 組執行 k-means。她看了平均值後為各組命名:每週固定客戶(300)、搬家一次性客戶(600)、季節性深度清潔客戶(400)和流失的老客戶(200)。流失組在不再上門之前平均每年消費 $1,800,最先收到挽回郵件。
一家有 8,000 筆網路訂單的自行車店(加幣)
對訂單做關聯分析發現:安全帽出現在 900 筆訂單裡,車燈出現在 600 筆裡,兩者都有的是 360 筆。從安全帽到車燈的信賴度是 40%,增益是 5.3。這家店在每個安全帽頁面上都把車燈設為加購推薦商品。
常見問題
非監督式學習就是 AI 嗎?
它是機器學習的一種,而機器學習是 AI 的一部分。可上傳檔案的聊天機器人能幫您執行分群,但聊天機器人本身是另一種 AI。
做分群需要多少客戶?
沒有固定下限。客戶少於幾百位時,您通常用簡單的篩選就能自己看出分組,分群幫助不大。
分群和區隔有什麼差別?
區隔是行銷目標:區別對待的客戶群組。分群是從資料中找出這些群組的一種方法,而不是手動挑選。
非監督式學習能預測誰會購買嗎?
不能。預測一個結果需要該結果的過往範例,那是監督式學習。不過分群可以為預測提供輸入:把組別編號當作多加的一欄。
您的情況不同?
- 您想在電子郵件和簡訊中針對這些群組採取行動: 依行為區隔電子郵件名單。
- 您的客戶紀錄很少或很分散: AI 行銷中的第一方資料。
- 您比較想手動挑選區隔群體: 市場區隔。
- 您想把這些群組變成能帶來轉換的網頁和優惠: 轉換。