【数据挖掘】数据挖掘总结 ( K-Means 聚类算法 | 二维数据的 K-Means 聚类 ) ★

文章目录

一、 K-Means 聚类算法流程

二、 二维数据的 K-Means 聚类

1、 第一次迭代

2、 第二次迭代



参考博客 :


【数据挖掘】聚类算法 简介 ( 基于划分的聚类方法 | 基于层次的聚类方法 | 基于密度的聚类方法 | 基于方格的聚类方法 | 基于模型的聚类方法 )

【数据挖掘】基于划分的聚类方法 ( K-Means 算法简介 | K-Means 算法步骤 | K-Means 图示 )

【数据挖掘】K-Means 一维数据聚类分析示例

【数据挖掘】K-Means 二维数据聚类分析 ( K-Means 迭代总结 | K-Means 初始中心点选择方案 | K-Means 算法优缺点 | K-Means 算法变种 )





一、 K-Means 聚类算法流程


K-Means 算法 步骤 : 给定数据集 X \rm XX , 该数据集有 n \rm nn 个样本 , 将其分成 K \rm KK 个聚类 ;


① 中心点初始化 : 为 K \rm KK 个聚类分组选择初始的中心点 , 这些中心点称为 Means ; 可以依据经验 , 也可以随意选择 ;


② 计算距离 : 计算 n \rm nn 个对象与 K \rm KK 个中心点 的距离 ; ( 共计算 n × K \rm n \times Kn×K 次 )


③ 聚类分组 : 每个对象与 K \rm KK 个中心点的值已计算出 , 将每个对象分配给距离其最近的中心点对应的聚类 ;


④ 计算中心点 : 根据聚类分组中的样本 , 计算每个聚类的中心点 ;


⑤ 迭代直至收敛 : 迭代执行 ② ③ ④ 步骤 , 直到 聚类算法收敛 , 即 中心点 和 分组 经过多少次迭代都不再改变 , 也就是本次计算的中心点与上一次的中心点一样 ;



给定 一组样本 , 和 一组中心点 , 计算 所有样本 到 所有中心点 的距离 , 给样本 分组 , 计算分好组的样本的中心点 , 重新计算所有样本到所有中心点的距离 , 继续进行分组 , 一直迭代执行上述操作 , 直到连续两次样本分组不再变化 ;






二、 二维数据的 K-Means 聚类


给定数据集 { A 1 ( 2 , 4 ) , A 2 ( 3 , 7 ) , B 1 ( 5 , 8 ) , B 2 ( 9 , 5 ) , C 1 ( 6 , 2 ) , C 2 ( 4 , 9 ) } \rm \{ A_1 ( 2 , 4 ) , A_2 ( 3 , 7 ) , B_1 ( 5 , 8 ) , B_2 ( 9 , 5 ) , C_1 ( 6 , 2 ) , C_2 ( 4 , 9 ) \}{A

1


(2,4),A

2


(3,7),B

1


(5,8),B

2


(9,5),C

1


(6,2),C

2


(4,9)} , 初始中心点 { A 1 ( 2 , 4 ) , B 1 ( 5 , 8 ) , C 1 ( 6 , 2 ) } \rm \{ A_1 ( 2 , 4 ) , B_1 ( 5 , 8 ) , C_1 ( 6 , 2 ) \}{A

1


(2,4),B

1


(5,8),C

1


(6,2)} , 使用 K-Means 算法对数据集进行聚类分析 ;



曼哈顿距离计算方式 : 以计算 A 1 ( 2 , 4 ) \rm A_1 ( 2 , 4 )A

1


(2,4) 与 B 1 ( 5 , 8 ) \rm B_1 ( 5 , 8 )B

1


(5,8) 的距离为例 ;


d ( A 1 , B 1 ) = ∣ 2 − 5 ∣ + ∣ 4 − 8 ∣ = 7 \rm d(A_1 , B_1) = | 2-5 | + | 4-8 | = 7d(A

1


,B

1


)=∣2−5∣+∣4−8∣=7





1、 第一次迭代


第一次迭代 : 计算每个样本值与每个中心点的距离 , 将样本分类到最近的中心点所在的分组 , 计算每个分组新的中心值 ;


A 1 ( 2 , 4 ) A_1 ( 2 , 4 )A

1


(2,4) A 2 ( 3 , 7 ) A_2 ( 3 , 7 )A

2


(3,7) B 1 ( 5 , 8 ) B_1 ( 5 , 8 )B

1


(5,8) B 2 ( 9 , 5 ) B_2 ( 9 , 5 )B

2


(9,5) C 1 ( 6 , 2 ) C_1 ( 6 , 2 )C

1


(6,2) C 2 ( 4 , 9 ) C_2 ( 4 , 9 )C

2


(4,9)

A 1 ( 2 , 4 ) A_1 ( 2 , 4 )A

1


(2,4) 0 00 4 44 7 77 8 88 6 66 7 77

B 1 ( 5 , 8 ) B_1 ( 5 , 8 )B

1


(5,8) 7 77 3 33 0 00 7 77 7 77 2 22

C 1 ( 6 , 2 ) C_1 ( 6 , 2 )C

1


(6,2) 6 66 8 88 7 77 6 66 0 00 9 99


新的聚类分组 :


① 聚类 1 11 : { A 1 } \{ A_1 \}{A

1


}


② 聚类 2 22 : { A 2 , B 1 , C 2 } \{ A_2 , B_1 , C_2 \}{A

2


,B

1


,C

2


}


③ 聚类 3 33 : { B 2 , C 1 } \{ B_2 , C_1 \}{B

2


,C

1


}



新的中心点计算 :


C 1 = ( 2 , 4 ) \rm C_1 = (2, 4)C

1


=(2,4)


C 2 = ( 3 + 5 + 4 3 , 7 + 8 + 9 3 ) = ( 4 , 8 ) \rm C_2 =( \cfrac{3 + 5 + 4}{3} , \cfrac{7 + 8 + 9}{3}) = ( 4 , 8 )C

2


=(

3

3+5+4


,

3

7+8+9


)=(4,8)


C 3 = ( 9 + 6 2 , 5 + 2 2 ) = ( 7 , 3 ) \rm C_3 = ( \cfrac{9 + 6 }{2} , \cfrac{5 + 2}{2}) = ( 7 , 3 )C

3


=(

2

9+6


,

2

5+2


)=(7,3)





2、 第二次迭代


第二次迭代 : 计算每个样本值与每个中心点的距离 , 将样本分类到最近的中心点所在的分组 , 计算每个分组新的中心值 ;


A 1 ( 2 , 4 ) A_1 ( 2 , 4 )A

1


(2,4) A 2 ( 3 , 7 ) A_2 ( 3 , 7 )A

2


(3,7) B 1 ( 5 , 8 ) B_1 ( 5 , 8 )B

1


(5,8) B 2 ( 9 , 5 ) B_2 ( 9 , 5 )B

2


(9,5) C 1 ( 6 , 2 ) C_1 ( 6 , 2 )C

1


(6,2) C 2 ( 4 , 9 ) C_2 ( 4 , 9 )C

2


(4,9)

( 2 , 4 ) ( 2 , 4 )(2,4) 0 00 4 44 7 77 8 88 6 66 7 77

( 4 , 8 ) ( 4 , 8 )(4,8) 6 66 2 22 1 11 8 88 8 88 1 11

( 7 , 3 ) ( 7 , 3 )(7,3) 6 66 8 88 7 77 4 44 2 22 9 99


新的聚类分组 :


① 聚类 1 11 : { A 1 } \{ A_1 \}{A

1


}


② 聚类 2 22 : { A 2 , B 1 , C 2 } \{ A_2 , B_1 , C_2 \}{A

2


,B

1


,C

2


}


③ 聚类 3 33 : { B 2 , C 1 } \{ B_2 , C_1 \}{B

2


,C

1


}



新的中心点计算 :


C 1 = ( 2 , 4 ) \rm C_1 = (2, 4)C

1


=(2,4)


C 2 = ( 3 + 5 + 4 3 , 7 + 8 + 9 3 ) = ( 4 , 8 ) \rm C_2 =( \cfrac{3 + 5 + 4}{3} , \cfrac{7 + 8 + 9}{3}) = ( 4 , 8 )C

2


=(

3

3+5+4


,

3

7+8+9


)=(4,8)


C 3 = ( 9 + 6 2 , 5 + 2 2 ) = ( 7 , 3 ) \rm C_3 = ( \cfrac{9 + 6 }{2} , \cfrac{5 + 2}{2}) = ( 7 , 3 )C

3


=(

2

9+6


,

2

5+2


)=(7,3)




第二次迭代与第一次迭代值相同 , 因此第三次迭代的结果就是 K-Means 聚类算法最终结果 ;



详细解析参考 【数据挖掘】K-Means 二维数据聚类分析 ( K-Means 迭代总结 | K-Means 初始中心点选择方案 | K-Means 算法优缺点 | K-Means 算法变种 )


上一篇:快速学会SVN的搭建和使用


下一篇:第二章:redis基础