聚类算法笔记

聚类算法-Kmeans

1.无监督学习与聚类算法

  • 有监督学习模型算法,模型需要的样本数据即需要有特征矩阵X,也需要有真实的标签y。
  • 无监督学习是指模型只需要使用特征矩阵X即可,不需要真实的标签y,聚类算法是无监督学习中的代表之一。
  • 聚类算法
    • 聚类算法其目的是将数据划分成有意义或有用的组(或簇)。这种划分可以基于我们的业务需求或建模需求来完成。也可以单纯地帮助我们探索数据自然结构和分布。比如在商业中,有大量的当前和潜在客户的信息,我们可以使用聚类将客户划分为若干组,一遍进一步分析和开展营销和活动

2.聚类算法和分类的区别

聚类算法笔记
聚类算法笔记

3.Kmeans算法原理阐述

  • 簇:Kmeans算法将一组N个样本的特征矩阵X划分为K个无交集的簇,直观上看来簇是一个又一个聚集一起的数据,在一个簇中的数据就认为是同一类,簇就是聚类的结果表现

  • 质心:簇中所有数据的均值u通常被称为这个簇的"质心"

    • 在一个二维平面中,一簇数据点的质心的横坐标就是这一簇数据点的横坐标的均值,质心的纵坐标就是这一簇数据点的纵坐标的均值。同理可以推广到高维空间
  • 质心的个数与聚类后的类别数一致

  • Kmeans算法中,簇的个数k是一个超参数,需要人为输入来确定。Kmeans的核心任务就是根据我们设好的k,找出k个最优的质心,并将离这些质心最近的数据分别分配到这些质心代表的簇中去,具体过程如下:

聚类算法笔记

  • 当我们找到一个质心,在每次迭代中被分配到这个质心上的样本都是一致的,即每次新生成的簇都是一致的,所有的样本点都不会再从一个簇转移到另一个簇,质心就不会变化了

  • 如图所示【将数据分成4簇,白色x代表质心】

聚类算法笔记

4.簇内误差表示

  • 被分在同一个簇中的数据是有相似性的,而不同簇中的数据是不同的,当聚类完毕之后,就要分别去研究每个簇中的样本都有什么性质,根据业务需求制定不同的策略

  • 聚类算法追求"簇内差异小,簇外差异大"【差异:由样本点到其所在簇的质心的距离来衡量】

  • 对于一个簇,所有样本点到质心的距离之和越小,就认为这个簇中的样本越相似,簇内差异就越小。样本点到质心的距离可由距离来衡量:

    • x:簇中的一个样本点
    • u:簇中的质心
    • n:每个样本点中的特征数目
    • i:组成点的每个特征

聚类算法笔记

  • 簇内平方和

    • 采用欧几里得距离,则一个簇中所有样本点到质心的距离的平方和为簇内平方和。簇内平方和可以表示簇内差异的大小
  • 整体平方和

    • 将一个数据集中所有簇的簇内平方和相加,得到整体平方和(Total Cluster Sum of Square),又叫做total inertiaTotal Inertia越小,代表每个簇内样本越相似,聚类效果就越好

5.Kmeans有损失函数吗?

  • 有,Kmeans追求的是,求解能够让簇内平方和最小化的质心。在质心不断变化不断迭代的过程中,整体平方和是越来越小的,当整体平方和最小的时候,质心就不再发生变化了,即求解问题,变成了最优化问题

    • Kmeans中,在一个固定的簇数k下,最小化整体平方和来求解最佳质心,并基于质心的存在去进行聚类,并且,整体距离平方和的最小值可以使用梯度下降来求解,因此有人认为:簇内平方和或整体平方和是Kmeans的损失函数
  • 没有

    • 损失函数本质是用来衡量模型的拟合效果(损失越小,模拟的拟合效果越好),只有有求解参数需求的算法,才会有损失函数,Kmeans不求解参数,它的本质也不是在拟合数据,而是对数据进行一种探索。所以有些人认为:Kmeans不存在损失函数,整体平方和更像是Kmeans的模型评估指标,而非损失函数

6.kmeans对结果的预测

  • Kmeans算法通常不需要预测结果,因为该算法本质上是在对未知分类数据的探索,但是在某些情况下我们可以使用predict进行预测操作
  • 当数据太大的时候预测
    • 不必使用所有的数据寻找质心,少量的数据就可以帮助我们确定质心
    • 数据量非常大时,可以使用部分数据确认质心
    • 剩下的数据的聚类结果,使用predict来调用
  • 当我们不要求那么精确,或者我们的数据量实在太大,可以使用predict方法。如果数据量还行,直接使用fit后调用labels_查看聚类结果

7.API

  • class sklearn.cluster.KMeans(n_clusters=8,init='k-means++',n_init=10,max_iter=300,tol=0.0001,precompute_distances='auto',verbase=0,random_state=None,copy_x=True,n_jobs=None,algorthm='auto')
  • 参数
    • n_clusters:是KMeans中的k,表示模型要分几类,必填参数,默认为8类,通常的聚类结果会是一个小于8的结果,在聚类之前,不知道n_clusters是多少,即要对它进行探索
    • random_state:初始化质心的生成器
  • 属性
    • labels_:查看聚好的类别,每个样本所对应的类
    • cluster_centers_:查看质心坐标
    • intertia_:查看总距离平方和

8.Kmeans探索

  • 拿到一个数据集,我们希望能够通过绘图先观察一下这个数据集的数据分布,以此来为我们聚类时输入的n_clusters做一个参考,自己创建一个数据集make_blobs,自己创建的,有标签

    from sklearn.datasets import make_blobs
    import matplotlib.pyplot as plt
    #自己创建数据集,特征维度为2,质心为4,分4类,500个样本
    X,y=make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)
    color=['red','pink','orange','gray']
    fig,ax1=plt.subplots(1)
    for i in range(4):
        ax1.scatter(
            X[y==i,0],
            X[y==i,1],
            marker='o',#点的形状
            s=8,#点的大小
            c=color[i]  #颜色
        )
        
    plt.show()
    

聚类算法笔记

  • 基于这个分布,使用kmeans,假设数据有3簇

    #假设为3簇
    from sklearn.cluster import KMeans
    from sklearn.datasets import make_blobs
    #自己创建数据集,特征维度为2,质心为4,分4类,500个样本
    X,y=make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)
    n_clusters = 3
    cluster = KMeans(n_clusters=n_clusters,random_state=0).fit(X)
    y_pred=cluster.labels_  #重要属性,查看聚好的类别,每个样本所对应的类
    centroid=cluster.cluster_centers_   #重要属性查看质心
    # array([[-8.0807047 , -3.50729701],
    #        [-1.54234022,  4.43517599],
    #        [-7.11207261, -8.09458846]])
    
    inertia=cluster.inertia_  #重要属性,查看总距离平方和
    # 1903.4503741659223
    
  • 画图,显示质心

    from sklearn.cluster import KMeans
    from sklearn.datasets import make_blobs
    #自己创建数据集,特征维度为2,质心为4,分4类,500个样本
    X,y=make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)
    n_clusters = 3
    cluster = KMeans(n_clusters=n_clusters,random_state=0).fit(X)
    centroid=cluster.cluster_centers_   #重要属性查看质心
    color=['red','pink','orange','gray']
    fig,ax1=plt.subplots(1)
    for i in range(n_clusters):
        ax1.scatter(X[y_pred==i,0],X[y_pred==i,1],marker='o',s=8,c=color[i])
    ax1.scatter(centroid[:,0],centroid[:,1],marker='x',s=15,c='black')
    plt.show()
    

聚类算法笔记

  • 使用部分数据

    from sklearn.cluster import KMeans
    from sklearn.datasets import make_blobs
    X,y=make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)
    n_clusters=3
    cluster=KMeans(n_clusters=n_clusters,random_state=0).fit(X)
    y_pred=cluster.labels_  #重要属性,查看聚好的类别,每个样本所对应的类
    cluster_smallsub=KMeans(n_clusters=n_clusters,random_state=0).fit(X[:200])
    #使用模型对X进行分类预测
    y_pred_ = cluster_smallsub.predict(X)
    (y_pred==y_pred_).sum()
    

9.模型评价指标

  • 【面试题】如何衡量聚类算法的效果?

    • 聚类算法的结果不是某种标签输出,并且聚类的结果是不确定的,其优劣有业务的需求或者算法需求来决定,并没有正确答案
  • 簇内平方和(inertia)的缺点

    • 首先,它不是有界的,只知道inertia越小越好,是0最好。但是我们不知道,一个较小的inertia有没有达到模型的极限,能否继续提高

    • 计算太容易受到特征的数目的影响,数据维度很大时,interia的计算量会爆炸,不适合用来一次次评估模型

    • 会受到超参数k的影响,随着k越大,interia会越来越小,但不代表模型的效果越来越好

    • 使用inertia作为指标,会让聚类算法在一些细长簇,环形簇,或者不规则形状的聚类时,效果不佳:

聚类算法笔记

9.1轮廓系数

  • 轮廓系数【轮廓系数是最常用的聚类算法的评价指标】

    • 在99%的情况下,是对没有真实标签的数据进行探索,即对不知道真正答案的数据进行聚类。这种聚类,是完全依赖于评价簇内的稠密程度(簇内差异小)和簇间的离散程度(簇外差异大)来评估评估聚类的效果,轮廓系数是最常用的聚类算法的评价指标。它是对每个样本来定义的,能同时衡量:

      • 1.样本与其自身所在的簇中的其他样本的相似度a,等于样本与同一簇中所有其他点之间的平均距离
      • 2.样本与其他簇中的样本的相似度b,等于样本与下一个最近的簇中的所有点之间的平均距离,根据聚类要求"簇内差异小,簇外差异大",希望b永远大于a,并且越大越好
    • 单个轮廓系数计算为:

聚类算法笔记

  • 轮廓系数范围是(-1,1):

    • 值越接近1表示样本与自己所在的簇中的样本很相似,并且与其它簇中的样本不相似,当样本与簇外的样本更相似时,轮廓系数为负
    • 当轮廓系数为0时,代表两个簇中的样本相似度一致,两个簇应该是一个簇。
    • 即,轮廓系数越接近于1越好,负数则表示聚类效果非常差
  • 如果一个簇中的大多数样本具有较高的轮廓系数,则簇会有较高的总轮廓系数,则整个数据集的平均轮廓系数越高,即聚类是合适的

  • 如果许多样本点具有低轮廓系数甚至负数,则聚类不合适,聚类的超参数k可能设定的太大或太小

  • 轮廓系数的计算

    • silhouette_score
      • from sklearn.metrics import silbouette_score,返回一个数据集中所有样本的轮廓系数的均值
    • silhouette_sample
      • from sklearn.metrics import silhouetet_samples,返回数据集中每个样本自己的轮廓系数
    from sklearn.cluster import KMeans
    from sklearn.datasets import make_blobs
    from sklearn.metrics import silhouette_score
    from sklearn.metrics import silhouette_samples
    X,y=make_blobs(n_samples=500,n_features=2,centers=4,random_state=1)
    n_clusters=3
    cluster=KMeans(n_clusters=n_clusters,random_state=0).fit(X)
    y_pred=cluster.labels_ 
    silhouette_score(X,y_pred)  #0.5882004012129721
    silhouette_samples(X,y_pred)
    
上一篇:四、Zookeeper分布式锁


下一篇:爬虫学习实践(2)——静态网页抓取实践之获取豆瓣top250电影名及信息