《机实战》第2章 K近邻算法实战（KNN）

2022-09-18 15:47:32

1.准备：使用Python导入数据

1.创建kNN.py文件，并在其中增加下面的代码：

from numpy import * #导入科学计算包

import operator #运算符模块，k近邻算法执行排序操作时将使用这个模块提供的函数

def createDataSet():

    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

    labels=['A','A','B','B']

    return group,labels

##print(createDataSet())

2.在knn.py保存处，shift+右键——‘在此处打开命令窗口’，输入：python，再输入：import knn，导入刚编辑的knn.py模块：

>>> python

>>> import knn

3.为了确保输入相同的数据集，knn模块中定义了函数createDataSet，在Python命令提示符下输入下属命令：

>>> group,labels = knn.createDataSet()

4.再输入group,labels查看是否正确赋值：

>>> group

'''

显示：

array([[1. , 1.1],

[1. , 1. ],

[0. , 0. ],

[0. , 0.1]])

'''

>>> labels

 #显示：['A', 'A', 'B', 'B']

5.上代码解析的数据如下图，array表示数据的定位，labels表示数据的对应分类

2.实施kNN分类算法

A.2-1函数伪代码：
对未知类别属性的数据集中的每个点依次执行以下操作：
　　1. 计算已知类别数据集中的点与当前点之间的距离；【测距】
　　2. 按照距离递增次序排序；【距离排序】
　　3. 选取与当前点距离最小的k个点；【选最小K个点】
　　4. 确定前k个点所在类别的出现频率；【k个点所在类别】
　　5. 返回前k个点出现频率最高的类别作为当前点的预测分类。【返回类别】

B.函数真正代码：

from numpy import * #导入科学计算包

import operator #运算符模块，k近邻算法执行排序操作时将使用这个模块提供的函数

def classify0(inX, dataSet, labels, k):

    dataSetSize = dataSet.shape[0] #得到数据集行数

    #print(dataSetSize) #结果：4

    #❶（以下三行）距离计算

    diffMat = tile(inX, (dataSetSize,1)) - dataSet #把待求值转为 （datasetsize列，1行）-训练集

    #print(tile(inX, (dataSetSize,1))) #结果：[[2 1][2 1][2 1][2 1]]

    #print(diffMat)  #结果：[[ 1.  -0.1] [ 1.   0. ] [ 2.   1. ] [ 2.   0.9]]

    sqDiffMat = diffMat**2 #求上式结果的平方

    #print(sqDiffMat) #结果：[[1.   0.01] [1.   0.  ] [4.   1.  ] [4.   0.81]]

    sqDistances = sqDiffMat.sum(axis=1) #axis=0是按照行求和，axis=1是按照列进行求和

    #print(sqDistances) #结果：[1.01 1.   5.   4.81]

    distances = sqDistances**0.5 #开根号

    #print(distances) #结果[1.00498756 1.         2.23606798 2.19317122]

    sortedDistIndicies = distances.argsort()#把向量中每个元素进行排序，而它的结果是元素的索引形成的向量

    #print(sortedDistIndicies)#结果：[1 0 3 2]

    classCount={}

    #❷ （以下两行）选择距离最小的k个点

    for i in range(k):

        voteIlabel = labels[sortedDistIndicies[i]]

        #print(voteIlabel) #结果：两次A

        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

        #print(classCount[voteIlabel]) #结果：计数1，2

    #❸ 排序。此处的排序为逆序，即按照从最大到最小次序排序 （注意，python3.5以上版本，原classCount.iteritems()变为classCount.items()）

    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1), reverse=True)

    #print(sortedClassCount) #结果：[('A', 2)]

    print(sortedClassCount[0][0]) #结果：A.返回发生频率最高的元素标签

    return sortedClassCount[0][0]

classify0((2,1),array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]),['A','A','B','B'],3)

解释：函数参数：

inX：待分类数据
dataSet：训练集
labels：与训练集一一对应的标签
k：要选取的前k个值

解释❶

♥tile函数：

我们知道inX是个向量，而dataset是个矩阵，两者之间要进行相减的运算，需要把这个向量也补成一个和dataset有相同行数列数的矩阵，怎么个补法呢。这就要看tile()的第二个参数了，也就是上面的(datasetsize,1)，这个参数的意思就是把inX补成有datasetsize行数的矩阵。然后和dataset相减就是根据矩阵的减法进行的

例：假如 inX是（1，2） datasetsize =3 那么经过 tile()转换后产生了一个这样的矩阵（[1,2],[1,2],[1,2]）

♠计算距离：

用【欧氏距离公式】，计算两个向量点xA和xB之间的距离：（xB₀,xB₁）和（xA₀,xA₁）

例1.如点(0, 0)与(1, 2)之间的距离计算为：

例2.如果数据集存在4个特征值，则点(1, 0, 0, 1)与(7, 6, 9, 4)之间的距离计算为：

♠ sqdiffMat.sum(axis = 1)函数

假如sqdiffMat是([1,2],[0,1],[3,4])关注下axis这个参数，它影响了你对矩阵求和时候的顺序，axis=0是按照行求和，axis=1是按照列进行求和，因此这样的求和结果就是([4,7])

♠ argsort()函数

这个函数的作用很简单，就是把向量中每个元素进行排序，而它的结果是元素的索引形成的向量。sorted()函数返回的是一个list。

例如：

distance是这么个东西------([1,4,3])

经过distance.argsort()之后的结果是([0,2,1])

整合，并运行一下：

from numpy import * #导入科学计算包

import operator #运算符模块，k近邻算法执行排序操作时将使用这个模块提供的函数

def createDataSet():

    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

    labels=['A','A','B','B']

    return group,labels

##print(createDataSet())

def classify0(inX, dataSet, labels, k):

    dataSetSize = dataSet.shape[0] #得到数据集行数

    #print(dataSetSize) #结果：4

    #❶（以下三行）距离计算

    diffMat = tile(inX, (dataSetSize,1)) - dataSet #把待求值转为 （datasetsize列，1行）-训练集

    #print(tile(inX, (dataSetSize,1))) #结果：[[2 1][2 1][2 1][2 1]]

    #print(diffMat)  #结果：[[ 1.  -0.1] [ 1.   0. ] [ 2.   1. ] [ 2.   0.9]]

    sqDiffMat = diffMat**2 #求上式结果的平方

    #print(sqDiffMat) #结果：[[1.   0.01] [1.   0.  ] [4.   1.  ] [4.   0.81]]

    sqDistances = sqDiffMat.sum(axis=1) #axis=0是按照行求和，axis=1是按照列进行求和

    #print(sqDistances) #结果：[1.01 1.   5.   4.81]

    distances = sqDistances**0.5 #开根号

    #print(distances) #结果[1.00498756 1.         2.23606798 2.19317122]

    sortedDistIndicies = distances.argsort()#把向量中每个元素进行排序，而它的结果是元素的索引形成的向量

    #print(sortedDistIndicies)#结果：[1 0 3 2]

    classCount={}

    #❷ （以下两行）选择距离最小的k个点

    for i in range(k):

        voteIlabel = labels[sortedDistIndicies[i]]

        #print(voteIlabel) #结果：两次A

        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

        #print(classCount[voteIlabel]) #结果：计数1，2

    #❸ 排序。 3.5以上版本，原classCount.iteritems()变为classCount.items()

    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1), reverse=True)

    #print(sortedClassCount) #结果：[('A', 2)]

    #print(sortedClassCount[0][0]) #结果：A

    return sortedClassCount[0][0]

运行：进入文件所在目录：knn.py保存处，shift+右键——‘在此处打开命令窗口’，输入：python，然后输入：

C:\Users\Administrator\Desktop\机学-pdf\机器学习实战>python

Python 3.7.1 (v3.7.1:260ec2c36a, Oct 20 2018, 14:57:15) [MSC v.1915 64 bit (AMD6

4)] on win32

Type "help", "copyright", "credits" or "license" for more information.

>>> import knn #导入文件

>>> knn.createDataSet() #调用数据集创建函数，创建数据

(array([[1. , 1.1],

       [1. , 1. ],

       [0. , 0. ],

       [0. , 0.1]]), ['A', 'A', 'B', 'B'])

>>> group,labels=knn.createDataSet() #把返回的值分别赋值给group,labels

>>> knn.classify0((0,0), group, labels, 3) #运行分类函数，返回预测分类B

'B'

>>>

码农公寓

1.准备：使用Python导入数据

2.实施kNN分类算法

解释❶

♥tile函数：

♠计算距离：

整合，并运行一下：

相关文章