机器学习算法之BIRCH

BIRCH(BalancedIterative Reducing and Clustering Using Hierarchies)全称是:利用层次方法的平衡迭代规约和聚类。BIRCH算法是1996年由TianZhang提出来的。Birch算法就是通过聚类特征(CF)形成一个聚类特征树,root层的CF个数就是聚类个数。

BIRCH算法实现分为4个步骤:

1、扫描所有数据,建立初始化的CF树,把稠密数据分成簇,稀疏数据作为孤立点对待。

2、这个步骤是可选的,步骤3的全局或半全局聚类算法有着输入范围的要求,以达到速度与质量的要求,所以此阶段在步骤1的基础上,建立一个更小的CF树。

3、 补救由于输入顺序和页面大小带来的分裂,使用全局/半全局算法对全部叶节点进行聚类。

4、  这个步骤也是可选的,把步骤3的中心点作为种子,将数据点重新分配到最近的种子上,保证重复数据分到同一个簇中,同时添加簇标签。

聚类特征(CF):每一个CF都是一个三元组,可以用(N,LS,SS)表示。其中N代表了这个CF中拥有的样本点的数量;LS代表了这个CF中拥有的样本点各特征维度的和向量,SS代表了这个CF中拥有的样本点各特征维度的平方和。

比如:CF中含有N=5个点,以两维样本点值为:(3,4)、(2,6)、(4,5)、(4,7)、(3,8)。

然后计算:

LS=(3+2+4+4+3,4+6+5+7+8)=(16,30)

SS=(32+22+42+42+32,42+62+52+72+82)=(54,190)

机器学习算法之BIRCH

对于上图中的CF Tree,限定了B=7,L=5,也就是说内部节点最多有7个CF(含有的分支点数目),而叶子节点最多有5个CF(每个叶子还有的CF个数,实际上就是每个叶子中包含的样本数目)。叶子节点是通过双向链表连通的。

 

BIRCH算法举例:

Birch算法在sklearn.cluster中

具体代码如下

#coding = utf-8



##算法涉及主要参数



##n_clusters:簇数

##threshold :扫描阈值

##branches_factors: 每个节点中CF子集群的最大数量,默认值为50

##最后通过读取:label_;来获知每个数据点的分类情况



import  numpy  as  np

import  matplotlib.pyplot  as  plt

from  sklearn.datasets.samples_generator  import  make_blobs

from  sklearn.cluster  import  Birch



## X为样本特征,Y为样本簇类别,共500个样本,每个样本2个特征,共4个簇,

## 簇中心在[-1,-1],[0,0],[1,1],[2,2]



X,Y = make_blobs(n_samples = 500,n_features = 2,

                 centers=[[-1,-1],[0,0],[1,1],[2,2]],

                 cluster_std=[0.5,0.4,0.5,0.4],random_state=9)



##设置birch函数

birch = Birch(n_clusters = None)



##训练数据

y_pred  =  birch.fit_predict(X)





##绘图

plt.figure()

plt.subplot(2,2,1)

plt.scatter(X[:,0],X[:,1])

plt.title('DataSample')

plt.subplot(2,2,2)

plt.scatter(X[:,0],X[:,1],c=y_pred)

plt.title('None')



##设置birch函数



birch =Birch(n_clusters = 4)



##训练数据

y_pred =birch.fit_predict(X)

plt.subplot(2,2,3)

plt.scatter(X[:,0], X[:, 1], c=y_pred)

plt.title('n_clusters=4')

plt.show()

最后的效果:

机器学习算法之BIRCH


上一篇:分享三个游戏源码下载网站


下一篇:根据Python中的值查找列表中的位置?