无监督学习:它如何在业务数据中找出规律
简短回答 无监督学习是一种没有正确答案可学的机器学习。它直接看您的原始记录,自己找出其中的结构。企业最常用的两项工作:聚类,把行为相似的客户分成一组;关联分析,找出客户经常一起购买的东西。输入哪些数据、给群组起什么名字,仍然由您决定。
想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。
预约通话什么是无监督学习?
它是没有标准答案的机器学习。您把一张表交给软件,比如每位客户一行,它会告诉您哪些行彼此相似,或者哪些商品总是一起出现。没有人告诉它要找什么。Google 的术语表这样定义:
"Training a model to find patterns in a dataset, typically an unlabeled dataset." (Google Machine Learning Glossary) 译文:“训练模型在数据集中找出规律,这种数据集通常是无标签的。”
“无标签”是指没有任何一列写明正确答案。一份包含到店次数、消费金额和服务项目的客户名单,就是没有标签的。加上一列“是否取消:是或否”,就有了标签。
| 监督学习 | 无监督学习 | |
|---|---|---|
| 它拿到什么 | 已经填好答案的过往例子 | 原始记录,没有答案列 |
| 它做什么 | 为新情况预测答案 | 找出群组、关联和异常情况 |
| 业务问题 | “这些潜在客户里谁会预约?” | “我有哪几类客户?” |
| 您需要 | 足够多的过往结果供它学习 | 干净的记录和有用的列 |
Google 的课程用一句话说清了核心:监督模型是在“after seeing lots of data with the correct answers”(看过大量带正确答案的数据之后)学会的(Google for Developers)。无监督模型从来看不到正确答案。
聚类:它如何把客户分组
聚类是最主要的用途。Google 的术语表说,“the most common use of unsupervised machine learning is to cluster data into groups of similar examples”(无监督机器学习最常见的用途,是把数据聚类成由相似样本组成的群组)(Google Machine Learning Glossary)。对企业来说,样本就是客户,群组就是细分市场。
最常用的方法是 k-means(Google for Developers: Clustering algorithms)。下面是它处理一份客户名单的过程:
- 您来决定分几组,这个数叫 k。比如 4。这个方法没法替您决定:“This algorithm requires the number of clusters to be specified”(该算法需要指定聚类数量)(scikit-learn)。
- 它在数据中放下 4 个起始点,每组一个。
- 每位客户归入离自己最近的点,距离按您给它的列来衡量:每年来几次、平均客单价、距上次服务几个月。
- 每个点移到它那组客户的正中间。
- 重复第 3 步和第 4 步,直到没有人再换组。
您拿到的结果是每位客户身上的一个组号。不是名字,也没有含义。Google 对此说得很直接:
"An unsupervised approach doesn't know what the clusters of data mean. Based on your understanding of the data, it's up to you to define them." (Google for Developers: What is machine learning?) 译文:“无监督方法不知道这些数据簇代表什么。要根据您对数据的理解,由您来定义它们。”
所以您要看每组的平均值,自己给它起名:“每年大额消费客户”“一次性紧急上门”“不再来的老客户”。起名这一步才是业务价值所在,而且这一步归您。
哪种聚类方法合适?
| 方法 | 如何分组 | 注意 |
|---|---|---|
| K-means | 围绕每组的一个中心点 | 组数由您定;异常值会把中心拉偏(Google) |
| DBSCAN(基于密度) | 按客户聚集紧密的地方 | 孤立的记录会被标为异常值,不归入任何组(scikit-learn) |
| 层次聚类 | 建一棵组中有组的树 | 大多数方法在大名单上会变慢;k-means 扩展性好(Google) |
| 高斯混合 | 给出每位客户属于每一组的概率(Google) | 较难向团队解释 |
客户名单在几百到几千行之间时,通常先用 k-means。试试分 3、4、5 组,保留您能据此行动的那个版本。
关联分析:哪些东西被一起购买
关联分析找出“买 X 的人常常也买 Y”这类规则。它处理的是订单,不是客户:每一行是一张订单和其中的商品。零售商称之为购物篮分析。
三个数字决定一条规则是否值得用。Apache Spark 的文档这样定义:
- 支持度(Support): 这些商品总共出现得有多频繁。“If an item appears 3 out of 5 transactions, it has a support of 3/5=0.6.”(如果某商品在 5 笔交易中出现 3 次,它的支持度就是 3/5=0.6。)
- 置信度(Confidence): 含 X 的订单中,有多少也含 Y。它是“an indication of how often an association rule has been found to be true”(衡量一条关联规则被验证为成立的频率)。
- 提升度(Lift): X 是否真的提高了买 Y 的几率,还是 Y 本来就热门。大于 1 表示两者一起出现的次数比随机情况更多。
(Apache Spark 4.3.0: Frequent Pattern Mining)。Spark 用一种叫 FP-growth 的方法找出这些规则;看懂结果并不需要知道它怎么运作。
举个算例。一家家居服务公司有 1,000 单。清理排水槽出现在 200 单里,擦窗出现在 250 单里,两项都有的是 100 单。
| 指标 | 算式 | 结果 |
|---|---|---|
| 支持度(两项都有) | 100 ÷ 1,000 | 0.10 |
| 置信度(排水槽 → 擦窗) | 100 ÷ 200 | 0.50 |
| 提升度 | 0.10 ÷ (0.20 × 0.25) | 2.0 |
一半的排水槽客户也预约了擦窗,是随机预期比例的两倍。这值得在排水槽清理的预约页面上做成套餐推荐。
网店可能已经在用类似功能。Shopify 表示,它的自动相关商品推荐可以参考“products that have historically been purchased together”(历史上曾被一起购买的商品)(Shopify Dev)。它的附加(“互补”)商品推荐则不是自动的:“Complementary recommendations need to be manually set up”(互补推荐需要手动设置)(Shopify Dev)。关联分析能告诉您该设置哪些。
它还能做什么?
还有两项工作,对小企业来说不太常用:
- 异常检测: 标出不符合任何规律的记录,比如退款突增或大量虚假潜在客户涌入。Google 的术语表称之为“the process of identifying outliers”(识别异常值的过程)(Google Machine Learning Glossary)。
- 降维: 把许多列压缩成少数几列,比如把 40 个问卷答案变成 3 个可以画图的分数。它常常在聚类之前运行(Google for Developers)。
需要什么数据?
一张每位客户(或每张订单)一行的表,再加几列描述行为的数字。客户数据通常用这几项:最近一次购买是多久前、买得多频繁、花了多少钱。订单数据则是每张订单里的商品。
有两条数据准备规则很重要:
- 让各列处于相同尺度。 Google 的聚类课程说,比较客户“requires the features to have the same scale”(需要各特征处于相同尺度)(Google for Developers: Prepare data)。否则一列 $5,000 的消费额会压倒一列 3 次的到店次数,分组就只按消费额排了。
- 处理异常值。 一单 $80,000 的商业项目就能单独把一个 k-means 组的中心拉偏。Google 建议先删除或截断异常值(Google for Developers)。
把记录上传到任何 AI 工具之前,先删掉姓名、电子邮箱和电话号码。美国和加拿大在这方面的隐私规定,见 AI 客户细分与个性化。
怎么知道分组是真实的?
要去检验。没有标准答案可以对照打分:
"Because clustering doesn't produce or include a ground "truth" against which you can verify the output, it's important to check the result against your expectations at both the cluster level and the example level." (Google for Developers: Clustering workflow) 译文:“由于聚类不会产生也不包含可用来验证输出的‘真实答案’,因此需要在群组层面和样本层面都把结果与您的预期对照检查。”
实际做法:
- 每组看 10 位客户。 如果说不出他们为什么属于同一组,就换列或换组数。
- 确认每组大到值得行动。 12 个人的组只是一份名单,不是细分市场。
- 给每组发不同的优惠,比较回复或预约情况。如果某个细分群体的反应和其他人一样,就不值得保留。
没有数据科学家,小企业能用吗?
能,上面两项工作都可以。工具已经变了:您可以用大白话描述任务,让 AI 工具写代码并运行。
| 方式 | 做什么 | 适合 |
|---|---|---|
| 可上传文件的聊天机器人 | 对您上传的电子表格运行 k-means 或购物篮分析 | 一次性查看几千行数据;步骤见 AI 客户细分 |
| 您的网店或邮件营销平台 | 内置的相关商品推荐或客户细分 | 持续使用,无需导出 |
| 自己写规则 | “消费超过 $1,000,12 个月内没有下单” | 客户少于几百位;见 市场细分 |
名单不大时,简单规则往往比聚类更好用。当列很多、肉眼看不出分组时,聚类才真正有价值。
示例
一家有 1,500 位客户的清洁公司(美元)
老板导出每位客户一行:过去一年的服务次数、平均单价、距上次服务几个月。聊天机器人按 4 组运行 k-means。她看了平均值后给各组起名:每周固定客户(300)、搬家一次性客户(600)、季节性深度清洁客户(400)和流失的老客户(200)。流失组在不再来之前平均每年消费 $1,800,最先收到挽回邮件。
一家有 8,000 张网上订单的自行车店(加元)
对订单做关联分析发现:头盔出现在 900 张订单里,车灯出现在 600 张里,两者都有的是 360 张。从头盔到车灯的置信度是 40%,提升度是 5.3。这家店在每个头盔页面上都把车灯设为附加推荐商品。
常见问题
无监督学习就是 AI 吗?
它是机器学习的一种,而机器学习是 AI 的一部分。可上传文件的聊天机器人能帮您运行聚类,但聊天机器人本身是另一种 AI。
做聚类需要多少客户?
没有固定下限。客户少于几百位时,您通常用简单的筛选就能自己看出分组,聚类帮助不大。
聚类和细分有什么区别?
细分是营销目标:区别对待的客户群组。聚类是从数据中找出这些群组的一种方法,而不是手动挑选。
无监督学习能预测谁会购买吗?
不能。预测一个结果需要这个结果的过往例子,那是监督学习。不过聚类可以为预测提供输入:把组号作为多加的一列。
您的情况不同?
- 您想在邮件和短信中针对这些群组采取行动: 行为式邮件细分。
- 您的客户记录很少或很分散: AI 营销中的第一方数据。
- 您更想手动挑选细分群体: 市场细分。
- 您想把这些群组变成能带来转化的页面和优惠: 转化。