章节
聚类(K-means clustering)是在一组未标记的数据中，将相似的数据（点）归到同一个类别中的方法。聚类与分类的最大不同在于分类的目标事先已知，而聚类则不知道。
K-means是聚类中最常用的方法之一，它是基于点与点的距离来计算最佳类别归属，即靠得比较近的一组点（数据）被归为一类。
K-means的算法原理如下：
- 随机选取k个点作为中心点
- 遍历所有点，将每个点划分到最近的中心点，形成k个聚类
- 根据聚类中点之间的距离，重新计算各个聚类的中心点
- 重复2-3步骤，直到这k个中线点不再变化（收敛了），或达到最大迭代次数
SciPy中，cluster包已经很好地实现了K-Means算法，我们可以直接使用它。
使用SciPy中的k均值聚类功能
导入 K-Means
导入要使用的模块：
from SciPy.cluster.vq import kmeans,vq,whiten
样本数据生成
准备样本数据：
from numpy import vstack,array
from numpy.random import rand
# 具有3个特征值的样本数据生成
data = vstack((rand(100,3) + array([.5,.5,.5]),rand(100,3)))
上面的程序将生成以下样本数据：
[[9.08178137e-01 1.13621041e+00 1.37775140e+00]
[8.03177864e-01 8.61501332e-01 1.36841278e+00]
[1.20454835e+00 5.80649650e-01 1.02232192e+00]
[5.78773849e-01 1.29952832e+00 9.01418916e-01]
[1.00196410e+00 1.15425599e+00 5.68536029e-01]
[1.12860722e+00 7.63647578e-01 6.03910440e-01]
[1.29241389e+00 1.33779906e+00 1.38514877e+00]
[6.98439684e-01 1.10509272e+00 7.13420372e-01]
...
数据白化预处理
数据白化预处理是一种常见的数据预处理方法，作用是去除样本数据的冗余信息。
可以使用以下代码来白化数据。
# 白化数据
data = whiten(data)
分成3个聚类
我们会把样本数据分成3个聚类，使用kmeans()函数计算3个聚类的中心点。
# 计算 K = 3 时的中心点
centroids, _ = kmeans(data, 3)
打印中心点：
print(centroids)
输出：
[[2.33037825 1.63328035 1.76901626]
[0.69611182 1.48776606 1.25827876]
[2.39743406 2.98803923 2.99201397]]
使用vq函数将样本数据中的每个样本点分配给一个中心点，形成3个聚类。
# 将样本数据中的每个值分配给一个中心点，形成3个聚类。
# 返回值clx标出了对应索引样本的聚类，dist表示对应索引样本与聚类中心的距离。
clx, dist = vq(data, centroids)
输出聚类
# 打印聚类
print(clx)
输出：
[1 1 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 0 1 1 1 1 0 0 0 1 0 1 0 1 1 0 1 0 0 1 0
1 0 1 1 1 0 1 0 0 1 1 1 1 0 0 1 0 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 0
0 0 1 0 0 0 0 0 1 1 1 0 1 0 1 1 1 0 1 0 0 1 0 0 1 1 0 2 0 2 0 2 2 2 0 2 0
0 0 2 2 2 2 2 0 0 0 2 2 2 2 0 0 0 2 2 2 0 2 0 2 2 0 2 0 2 2 2 2 2 2 0 2 2
2 2 2 2 2 0 2 0 0 2 2 0 0 0 0 0 0 0 2 0 0 2 0 0 2 2 2 2 2 2 2 0 2 0 0 2 2
2 0 2 2 0 0 2 2 2 2 0 2 0 0 2]
上面数组中，值0,1,2分别表示3个聚类，某个位置上的值表示该对应索引数据属于哪个聚类，例如clx[0]=1，表明data[0]样本属于聚类1。