产品 SEO 与 GEO 智能体 付费广告智能体 网站智能体 转化智能体
运作方式 方案 常见问题 博客 预约通话

无监督学习:它如何在业务数据中找出规律

更新于 · 阅读约 7 分钟

简短回答 无监督学习是一种没有正确答案可学的机器学习。它直接看您的原始记录,自己找出其中的结构。企业最常用的两项工作:聚类,把行为相似的客户分成一组;关联分析,找出客户经常一起购买的东西。输入哪些数据、给群组起什么名字,仍然由您决定。

想把这些用到您的生意上?预约一次 30 分钟的免费通话,一起聊聊。

预约通话

什么是无监督学习?

它是没有标准答案的机器学习。您把一张表交给软件,比如每位客户一行,它会告诉您哪些行彼此相似,或者哪些商品总是一起出现。没有人告诉它要找什么。Google 的术语表这样定义:

"Training a model to find patterns in a dataset, typically an unlabeled dataset." (Google Machine Learning Glossary) 译文:“训练模型在数据集中找出规律,这种数据集通常是无标签的。”

“无标签”是指没有任何一列写明正确答案。一份包含到店次数、消费金额和服务项目的客户名单,就是没有标签的。加上一列“是否取消:是或否”,就有了标签。

监督学习无监督学习
它拿到什么已经填好答案的过往例子原始记录,没有答案列
它做什么为新情况预测答案找出群组、关联和异常情况
业务问题“这些潜在客户里谁会预约?”“我有哪几类客户?”
您需要足够多的过往结果供它学习干净的记录和有用的列

Google 的课程用一句话说清了核心:监督模型是在“after seeing lots of data with the correct answers”(看过大量带正确答案的数据之后)学会的(Google for Developers)。无监督模型从来看不到正确答案。

聚类:它如何把客户分组

聚类是最主要的用途。Google 的术语表说,“the most common use of unsupervised machine learning is to cluster data into groups of similar examples”(无监督机器学习最常见的用途,是把数据聚类成由相似样本组成的群组)(Google Machine Learning Glossary)。对企业来说,样本就是客户,群组就是细分市场。

最常用的方法是 k-means(Google for Developers: Clustering algorithms)。下面是它处理一份客户名单的过程:

  1. 您来决定分几组,这个数叫 k。比如 4。这个方法没法替您决定:“This algorithm requires the number of clusters to be specified”(该算法需要指定聚类数量)(scikit-learn)。
  2. 它在数据中放下 4 个起始点,每组一个。
  3. 每位客户归入离自己最近的点,距离按您给它的列来衡量:每年来几次、平均客单价、距上次服务几个月。
  4. 每个点移到它那组客户的正中间。
  5. 重复第 3 步和第 4 步,直到没有人再换组。

您拿到的结果是每位客户身上的一个组号。不是名字,也没有含义。Google 对此说得很直接:

"An unsupervised approach doesn't know what the clusters of data mean. Based on your understanding of the data, it's up to you to define them." (Google for Developers: What is machine learning?) 译文:“无监督方法不知道这些数据簇代表什么。要根据您对数据的理解,由您来定义它们。”

所以您要看每组的平均值,自己给它起名:“每年大额消费客户”“一次性紧急上门”“不再来的老客户”。起名这一步才是业务价值所在,而且这一步归您。

哪种聚类方法合适?

方法如何分组注意
K-means围绕每组的一个中心点组数由您定;异常值会把中心拉偏(Google)
DBSCAN(基于密度)按客户聚集紧密的地方孤立的记录会被标为异常值,不归入任何组(scikit-learn)
层次聚类建一棵组中有组的树大多数方法在大名单上会变慢;k-means 扩展性好(Google)
高斯混合给出每位客户属于每一组的概率(Google)较难向团队解释

客户名单在几百到几千行之间时,通常先用 k-means。试试分 3、4、5 组,保留您能据此行动的那个版本。

关联分析:哪些东西被一起购买

关联分析找出“买 X 的人常常也买 Y”这类规则。它处理的是订单,不是客户:每一行是一张订单和其中的商品。零售商称之为购物篮分析。

三个数字决定一条规则是否值得用。Apache Spark 的文档这样定义:

  • 支持度(Support): 这些商品总共出现得有多频繁。“If an item appears 3 out of 5 transactions, it has a support of 3/5=0.6.”(如果某商品在 5 笔交易中出现 3 次,它的支持度就是 3/5=0.6。)
  • 置信度(Confidence): 含 X 的订单中,有多少也含 Y。它是“an indication of how often an association rule has been found to be true”(衡量一条关联规则被验证为成立的频率)。
  • 提升度(Lift): X 是否真的提高了买 Y 的几率,还是 Y 本来就热门。大于 1 表示两者一起出现的次数比随机情况更多。

(Apache Spark 4.3.0: Frequent Pattern Mining)。Spark 用一种叫 FP-growth 的方法找出这些规则;看懂结果并不需要知道它怎么运作。

举个算例。一家家居服务公司有 1,000 单。清理排水槽出现在 200 单里,擦窗出现在 250 单里,两项都有的是 100 单。

指标算式结果
支持度(两项都有)100 ÷ 1,0000.10
置信度(排水槽 → 擦窗)100 ÷ 2000.50
提升度0.10 ÷ (0.20 × 0.25)2.0

一半的排水槽客户也预约了擦窗,是随机预期比例的两倍。这值得在排水槽清理的预约页面上做成套餐推荐。

网店可能已经在用类似功能。Shopify 表示,它的自动相关商品推荐可以参考“products that have historically been purchased together”(历史上曾被一起购买的商品)(Shopify Dev)。它的附加(“互补”)商品推荐则不是自动的:“Complementary recommendations need to be manually set up”(互补推荐需要手动设置)(Shopify Dev)。关联分析能告诉您该设置哪些。

它还能做什么?

还有两项工作,对小企业来说不太常用:

  • 异常检测: 标出不符合任何规律的记录,比如退款突增或大量虚假潜在客户涌入。Google 的术语表称之为“the process of identifying outliers”(识别异常值的过程)(Google Machine Learning Glossary)。
  • 降维: 把许多列压缩成少数几列,比如把 40 个问卷答案变成 3 个可以画图的分数。它常常在聚类之前运行(Google for Developers)。

需要什么数据?

一张每位客户(或每张订单)一行的表,再加几列描述行为的数字。客户数据通常用这几项:最近一次购买是多久前、买得多频繁、花了多少钱。订单数据则是每张订单里的商品。

有两条数据准备规则很重要:

  • 让各列处于相同尺度。 Google 的聚类课程说,比较客户“requires the features to have the same scale”(需要各特征处于相同尺度)(Google for Developers: Prepare data)。否则一列 $5,000 的消费额会压倒一列 3 次的到店次数,分组就只按消费额排了。
  • 处理异常值。 一单 $80,000 的商业项目就能单独把一个 k-means 组的中心拉偏。Google 建议先删除或截断异常值(Google for Developers)。

把记录上传到任何 AI 工具之前,先删掉姓名、电子邮箱和电话号码。美国和加拿大在这方面的隐私规定,见 AI 客户细分与个性化。

怎么知道分组是真实的?

要去检验。没有标准答案可以对照打分:

"Because clustering doesn't produce or include a ground "truth" against which you can verify the output, it's important to check the result against your expectations at both the cluster level and the example level." (Google for Developers: Clustering workflow) 译文:“由于聚类不会产生也不包含可用来验证输出的‘真实答案’,因此需要在群组层面和样本层面都把结果与您的预期对照检查。”

实际做法:

  1. 每组看 10 位客户。 如果说不出他们为什么属于同一组,就换列或换组数。
  2. 确认每组大到值得行动。 12 个人的组只是一份名单,不是细分市场。
  3. 给每组发不同的优惠,比较回复或预约情况。如果某个细分群体的反应和其他人一样,就不值得保留。

没有数据科学家,小企业能用吗?

能,上面两项工作都可以。工具已经变了:您可以用大白话描述任务,让 AI 工具写代码并运行。

方式做什么适合
可上传文件的聊天机器人对您上传的电子表格运行 k-means 或购物篮分析一次性查看几千行数据;步骤见 AI 客户细分
您的网店或邮件营销平台内置的相关商品推荐或客户细分持续使用,无需导出
自己写规则“消费超过 $1,000,12 个月内没有下单”客户少于几百位;见 市场细分

名单不大时,简单规则往往比聚类更好用。当列很多、肉眼看不出分组时,聚类才真正有价值。

示例

一家有 1,500 位客户的清洁公司(美元)

老板导出每位客户一行:过去一年的服务次数、平均单价、距上次服务几个月。聊天机器人按 4 组运行 k-means。她看了平均值后给各组起名:每周固定客户(300)、搬家一次性客户(600)、季节性深度清洁客户(400)和流失的老客户(200)。流失组在不再来之前平均每年消费 $1,800,最先收到挽回邮件。

一家有 8,000 张网上订单的自行车店(加元)

对订单做关联分析发现:头盔出现在 900 张订单里,车灯出现在 600 张里,两者都有的是 360 张。从头盔到车灯的置信度是 40%,提升度是 5.3。这家店在每个头盔页面上都把车灯设为附加推荐商品。

常见问题

无监督学习就是 AI 吗?

它是机器学习的一种,而机器学习是 AI 的一部分。可上传文件的聊天机器人能帮您运行聚类,但聊天机器人本身是另一种 AI。

做聚类需要多少客户?

没有固定下限。客户少于几百位时,您通常用简单的筛选就能自己看出分组,聚类帮助不大。

聚类和细分有什么区别?

细分是营销目标:区别对待的客户群组。聚类是从数据中找出这些群组的一种方法,而不是手动挑选。

无监督学习能预测谁会购买吗?

不能。预测一个结果需要这个结果的过往例子,那是监督学习。不过聚类可以为预测提供输入:把组号作为多加的一列。

您的情况不同?

继续阅读

下一篇GPT 是什么意思?用大白话讲清楚GPT 是 generative pre-trained transformer(生成式预训练 Transformer)的缩写。每个词的含义、GPT 如何一点一点地写出文字,以及它为什么会说得很肯定却出错。

问我们一个问题

一句话就够。我们会通过电子邮件回复。

出处

  1. Google Machine Learning Glossary
  2. Google for Developers: What is machine learning? (ML concepts)
  3. Google for Developers: What is clustering?
  4. Google for Developers: Clustering workflow
  5. Google for Developers: Prepare data for clustering
  6. Google for Developers: Clustering algorithms
  7. Google for Developers: Advantages and disadvantages of k-means
  8. scikit-learn 1.9.1 documentation: Clustering
  9. Apache Spark 4.3.0 documentation: Frequent Pattern Mining
  10. Shopify Dev: Product recommendations
  11. Shopify Dev: Show related products on product pages