基于RFM模型的Kmeans聚类算法实现

基于RFM模型的K均值聚类算法实现

点击跳转到总目录
本篇为Kmeans聚类算法实现,点击跳转数据分析

模型介绍

  • 对于有监督的数据挖掘算法而言,数据集中需要包含标签变量(即因变by的值)。但在有些场景下,并没有给定的y值,对于这类数据的建模,一般称为无监督的数据挖掘算法,最为典型的当属聚类算法
  • Kmeans聚类算法利用距远近的思想将目标数据聚为指定的k个簇,进而使样本呈现簇内差异小,簇间差异大的特征。

K 均值聚类原理

  • 随机选取 K 个样本作为初始聚类中心
  • 计算样本与初始聚类中心的距离,按照距离最近的原则将
    它们分配到对应的聚类中心
  • 将每个类别中所有样本的均值作为该类别的聚类中心,重
    复步骤 2,直到聚类中心收敛或不再发生变化

聚类步骤

  • 从数据中随机挑选k个样本点作为原始的簇中心 计算剩余样本与簇中心的距离,并把各样本标记为离k个簇中心最近的类别 重新计算各簇中样本点的均值,并以均值作为新的k个簇中心 不断重复第二步和第三步,直到簇中心的变化趋于稳定,形成最终的k个簇

导入库

import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
import datetime

from sklearn.cluster import KMeans# 创建 Kmeans 模型并训练
from mpl_toolkits.mplot3d import Axes3D# 画3维图
from sklearn import preprocessing#标准化处理
import math#取对数log

读取数据

jiaoyu2 = pd.read_excel("22在线教育2.xlsx",sheet_name = "Sheet3",encoding="utf-8")

jiaoyu2.head(10)

data_edu = jiaoyu2.copy()

基于RFM模型的Kmeans聚类算法实现

正确的代码

# 数据处理, 取 log
data_edu['R值_log'] = data_edu['最近一次消费时间间隔(R)'].map(lambda x: math.log(x + 0.001))#取对数log
data_edu['F值_log'] = data_edu['消费频率(F)'].map(lambda x: math.log(x + 0.001))#map函数
data_edu['M值_log'] = data_edu['消费金额(M)'].map(lambda x: math.log(x + 0.001))#lamda表达式

feature_columns = ['R值_log', 'F值_log','M值_log']
feature_data = data_edu[ feature_columns ].values
# 标准化处理
# 转化为均值为0,方差为1的数据
scaler = preprocessing.StandardScaler().fit(feature_data)
feature_data_scaled = scaler.transform(feature_data)
feature_data_scaled
# 创建 Kmeans 模型并训练
k_means_model = KMeans(n_clusters = 8, random_state = 0)
# k_means_model = KMeans(n_clusters = 3, random_state = 0)
# 3:分3类
# random_state:定初值,以防下次跑就不一样了
k_means_model.fit(feature_data_scaled)#训练模型参数
print(k_means_model)

labels = k_means_model.labels_# 拿到模型的,对应的每一个的样本的labels
print(pd.Series(labels).value_counts())# value_counts()统计
# 分成了3类,每一个样本一个标签
# 0,1,2
fig1 = plt.figure(1, figsize=(12, 8))
ax1 = Axes3D(fig1, rect = [0,0,.95, 1], elev = 45, azim = -45)# 使用axes3d 创建一个3维图
a = 0
c = []
d = []
e = ['r','g','b','c','m','y','k','w']# red,green,blue,cyan青色,magenta品红,yellow,black,white
for a in range(8):
    b = ax1.scatter(data_edu['R值_log'][labels == a], data_edu['F值_log'][labels == a], 
                     data_edu['M值_log'][labels == a], edgecolor = 'k', color = e[a])
    c.append(b)
    d.append('Cluster '+str(a))
# 每个标签都画到3维图上
ax1.legend(c, d)
ax1.invert_xaxis()
ax1.set_xlabel('Recency')
ax1.set_ylabel('Frequency')
ax1.set_zlabel('Monetary')
ax1.set_title('KMeans Clusters')
ax1.dist = 12

基于RFM模型的Kmeans聚类算法实现

# 查看聚类的数据:
# 写一个for循环,计算每个labels,R值,M值,F值,均值
for i in range(len(set(labels))):
    print(f'Data of Cluster {i + 1}:')
    print(data_edu [labels == i][['最近一次消费时间间隔(R)', '消费频率(F)', '消费金额(M)']].mean())

一个错误的示例

# 数据处理, 取 log
data_edu['R值_log'] = data_edu['R值打分'].map(lambda x: math.log(x + 0.001))#取对数log
data_edu['F值_log'] = data_edu['F值打分'].map(lambda x: math.log(x + 0.001))#map函数
data_edu['M值_log'] = data_edu['M值打分'].map(lambda x: math.log(x + 0.001))#lamda表达式

feature_columns = ['R值_log', 'F值_log','M值_log']
feature_data = data_edu[ feature_columns ].values
# 标准化处理
# 转化为均值为0,方差为1的数据
scaler = preprocessing.StandardScaler().fit(feature_data)
feature_data_scaled = scaler.transform(feature_data)
feature_data_scaled
# 创建 Kmeans 模型并训练
k_means_model = KMeans(n_clusters = 8, random_state = 0)
# k_means_model = KMeans(n_clusters = 3, random_state = 0)
# 3:分3类
# random_state:定初值,以防下次跑就不一样了
k_means_model.fit(feature_data_scaled)#训练模型参数
print(k_means_model)

labels = k_means_model.labels_# 拿到模型的,对应的每一个的样本的labels
print(pd.Series(labels).value_counts())# value_counts()统计
# 分成了3类,每一个样本一个标签
# 0,1,2
fig1 = plt.figure(1, figsize=(12, 8))
ax1 = Axes3D(fig1, rect = [0,0,.95, 1], elev = 45, azim = -45)# 使用axes3d 创建一个3维图
a = 0
c = []
d = []
e = ['r','g','b','c','m','y','k','w']# red,green,blue,cyan青色,magenta品红,yellow,black,white
for a in range(8):
    b = ax1.scatter(data_edu['R值_log'][labels == a], data_edu['F值_log'][labels == a], 
                     data_edu['M值_log'][labels == a], edgecolor = 'k', color = e[a])
    c.append(b)
    d.append('Cluster '+str(a))
# 每个标签都画到3维图上
ax1.legend(c, d)
ax1.invert_xaxis()
ax1.set_xlabel('Recency')
ax1.set_ylabel('Frequency')
ax1.set_zlabel('Monetary')
ax1.set_title('KMeans Clusters')
ax1.dist = 12

基于RFM模型的Kmeans聚类算法实现

# 查看聚类的数据:
# 写一个for循环,计算每个labels,R值,M值,F值,均值
for i in range(len(set(labels))):
    print(f'Data of Cluster {i + 1}:')
    print(data_edu [labels == i][['R值打分', 'F值打分', 'M值打分']].mean())

为什么会失败?

  • Kmeans聚类存在两个致命缺点:
  • 一是聚类效果容易受到异常样本点的影响;
  • 二是该 算法无法准确地将非球形样本进行合理的聚类。
  • 基于密度的聚类则可以解决非球形簇的问题(DBSCAN聚类法),“密度”可以理解为样本点的紧密程度, 如果在指定的半径领域内,实际样本量超过给定的最小样本量阈值,则认为是密度高的对 象,就可以聚成一个簇

总结

1. 创建模型:KMeans(n_clusters = k)
2. 训练模型:fit

上一篇:带你彻底理解Vue中的插槽是咋回事


下一篇:AngularJS的表单验证提交示例