KNN也称为k近邻算法，本质思想：物以类聚。
在分类或者预测中，待分类或预测的样本的类别和走势将直接参考与该样本最“近邻”的k个邻居。
在这种思路下，KNN注定会遇到3个问题：
(1): 谁是我的邻居：距离度量
(2): 参考多少个邻居作为参考：K值的选择，越多越好吗？ 不一定。
(3): 有了k个最近邻居了，如何进行决策：分类决策规则
距离度量：闵可夫斯基 || 曼哈顿 || 欧式 || 切比雪夫，具体公式可参考wiki百科
另外：在多维数据中，不同的维度的值差异可能较大，为了平等处理每个特征，需要进行归一化。（每个维度的差值都除该维度最大最小值的差），也可根据情况，加权各个特征。
K值的选择：本人目前知识范围内，没有具体的方法来对k进行计算。 通过实验进行选取吧。K=1,2,3,4,8...
如何进行决策：在选出了K个邻居后，可以通过多数表决或者加权的方式，来获得最终的结果。
总结：
在该方法中，不会有提前从训练数据集中训练出的模型的，但是可以提前训练出K值 + 距离度量方法 + 决策方法。
缺点：在计算邻居时，算法时间复杂度较大，特别是当样本大时，从样本中找出k个与当前样本最近的节点时间复杂度为O(n2)，为了解决时间效率为题，有2种解决思路：
- 使用新的数据结构：KD树（程序员喜欢、适合大数据潮流）
- 对数据进行清洗，去掉一些不必要的样本（大数据思想，好像不太喜欢这个方案）
对与KNN，先写到这。 关于KD树，可以参考一下链接：