# -*- coding: utf-8 -*-

from numpy import *     #引入科学计算包numpy

import operator         #经典python函数库，运算符模块。

#创建数据集

def createDataSet():

    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

    labels=['A','A','B','B']

    return group,labels

#k-近邻算法核心

#inX：用户分类的输入向量，即将对其进行分类

#dataSet:训练样本集

#labels：标签向量

def classifyO(inX,dataSet,labels,k):

    #距离计算

    dataSetSize=dataSet.shape[0] #得到数组的行数，即知道有几个训练数据，这里为4

    diffMat=tile(inX,(dataSetSize,1))-dataSet  #tile是numpy中的函数，tile将一个数组，扩充成了4个一样的数组；diffMat得到目标与训练数值之间的差值

    sqDiffMat=diffMat**2         #各个差值分别平方

    sqDistances=sqDiffMat.sum(axis=1)  #对平方后的数据求和，sum(axis=1)表示求矩阵的行的和

    distances=sqDistances**0.5   #开方，得到距离

    sortedDistIndicies=distances.argsort()  #对距离进行升序排列

    #选择距离最小的k个点

    classCount={}

    for i in range(k):

        voteIlabel=labels[sortedDistIndicies[i]]  #获得前k个距离对应的类标签

        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1 #对这些类标签进行统计，求出对应的数量，形成的列表有两列，一列为类标签，一列为数量

    #排序

       sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)  #对上面前k个类标签数量进行排序

    return sortedClassCount[0][0] #取最小的距离对应的类标签

#cd algorithm

#python

>>>import kNN

>>>group,labels=kNN.createDataSet()

>>>group

array([[1. , 1.1],

           [1. , 1.  ],

           [0. , 0.  ],

           [0. , 0.1] ])

>>>labels

['A','A','B','B']

>>>kNN.classifyO([0,0],group,labels,3) #输入[0,0]测试值，测试运行结果
'B'