KNN算法基本的思路是比较好理解的，今天根据它的特点写了一个实例，我会把所有的数据和代码都写在下面供大家参考，不足之处，请指正。谢谢！
update:工程代码全部在本页面中，测试数据已丢失，建议去UCI Dataset中找一个自行测试一下。
几点说明：
1.KNN中的K=5;
2.在计算权重时，采用的是减去函数{1,0.8,0.6,0.4,0.2}，当然你也可以采用反函数或高斯函数;
3.5%作为测试集(decision.txt)，95%作为训练集(training.txt)；
4.在计算costfun之前，对所有的属性进行了归一化，由于这里不知道数据集每个属性代表的含义，所以就一视同仁，实际情况下，应该具体问题具体分析；
XBWKNN.java
package XBWKNN; import java.io.IOException;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.List; /**
* KNN算法
* @author XBW
* @date 2014年8月16日
*/ public class XBWKNN{
public final static int KofKNN=5;
public final static double weight[]={1,0.9,0.7,0.4,0.1}; //减法函数y=1-0.2*x /**
* knn
* @param data
* @param ds
* @return ans
*/
public static int knn(Data data,DataSet ds){
int ans = 0;
List<Data> dis=calcDis(data,ds);
ans=calcKDis(data,dis);
return ans;
} /**
* 计算训练集中所有向量的距离，排序之后取前K个
* @param data
* @param ds
* @return
*/
@SuppressWarnings("null")
public static List<Data>calcDis(Data data,DataSet ds){
List<Data> anslist =new ArrayList<Data>();
double dx1=data.x1;
double dx2=data.x2;
double dx3=data.x3;
for(int i=0;i<ds.ds.size();i++){
double x1=ds.ds.get(i).x1;
double x2=ds.ds.get(i).x2;
double x3=ds.ds.get(i).x3;
ds.ds.get(i).costfun=Math.sqrt((dx1-x1)*(dx1-x1)+(dx2-x2)*(dx2-x2)+(dx3-x3)*(dx3-x3));
anslist.add(ds.ds.get(i));
}
Collections.sort(anslist,new Comparator<Data>(){
public int compare(Data o1, Data o2) {
Double s=o1.costfun-o2.costfun;
if(s<0)
return -1;
else
return 1;
}
});
return anslist;
} /**
* 按一定的权重计算出前K个
* @param data
* @param ds
* @return
*/
public static int calcKDis(Data data,List<Data> anslist){
Double[] anstype={0.0,0.0,0.0,0.0};
for(int i=0;i<KofKNN;i++){
if(anslist.get(i).type==1){
anstype[1]+=weight[i];
}
else if(anslist.get(i).type==2){
anstype[2]+=weight[i];
}
if(anslist.get(i).type==3){
anstype[3]+=weight[i];
}
}
Double maxt=-1.0;
int tag=1;
for(int i=1;i<=3;i++){
if(maxt<anstype[i]){
tag=i;
maxt=anstype[i];
}
}
return tag;
} public static void main(String[] args) throws IOException{
DataSet ds=new DataSet();
DataTest dt=new DataTest(); int correct=0;
for(int i=0;i<dt.dt.size();i++){
Data data=dt.dt.get(i);
int result=knn(data,ds);
if(result==data.type){
correct++;
}
}
System.out.println("total test num :"+dt.dt.size());
System.out.println("correct test num :"+correct);
System.out.println("ratio :"+correct/(double)dt.dt.size());
}
}
Datatest.java
package XBWKNN; import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List; /**
* 测试数据
* @author XBW
* @date 2014年8月16日
*/ public class DataTest{
String defaultpath="D:\\MachineLearning\\十大算法\\KNN\\knncode\\decision.txt";
List<Data> dt; @SuppressWarnings("null")
public DataTest() throws IOException{
List<Data> dset = new ArrayList<Data>();
File ds=new File(defaultpath);
@SuppressWarnings("resource")
BufferedReader br = new BufferedReader(new FileReader(ds));
String tsing;
double max1=-1;
double max2=-1;
double max3=-1;
while((tsing=br.readLine())!=null){
String[] dlist=tsing.split(" ");
Data data=new Data();
data.x1=Double.parseDouble(dlist[0]);
data.x2=Double.parseDouble(dlist[1]);
data.x3=Double.parseDouble(dlist[2]);
data.type=Integer.parseInt(dlist[3]);
dset.add(data); if(data.x1>max1){
max1=data.x1;
}
if(data.x2>max2){
max2=data.x2;
}
if(data.x3>max3){
max3=data.x3;
}
}
dset=normalization(dset,max1,max2,max3);
this.dt=dset;
} public List<Data> normalization(List<Data> dset,double m1,double m2,double m3){
for(int i=0;i<dset.size();i++){
dset.get(i).x1/=m1;
dset.get(i).x2/=m2;
dset.get(i).x3/=m3;
}
return dset;
}
}
DataSet.java
package XBWKNN; import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List; /**
* 训练数据
* @author XBW
* @date 2014年8月16日
*/ public class DataSet{
String defaultpath="D:\\MachineLearning\\十大算法\\KNN\\knncode\\training.txt";
List<Data> ds; @SuppressWarnings("null")
public DataSet() throws IOException{
List<Data> dset =new ArrayList<Data>();
File ds=new File(defaultpath);
@SuppressWarnings("resource")
BufferedReader br = new BufferedReader(new FileReader(ds));
String tsing;
double max1=-1;
double max2=-1;
double max3=-1;
while((tsing=br.readLine())!=null){
String[] dlist=tsing.split(" ");
Data data=new Data();
data.x1=Double.parseDouble(dlist[0]);
data.x2=Double.parseDouble(dlist[1]);
data.x3=Double.parseDouble(dlist[2]);
data.type=Integer.parseInt(dlist[3]);
dset.add(data); if(data.x1>max1){
max1=data.x1;
}
if(data.x2>max2){
max2=data.x2;
}
if(data.x3>max3){
max3=data.x3;
}
}
dset=normalization(dset,max1,max2,max3);
this.ds=dset;
} public List<Data> normalization(List<Data> dset,double m1,double m2,double m3){
for(int i=0;i<dset.size();i++){
dset.get(i).x1/=m1;
dset.get(i).x2/=m2;
dset.get(i).x3/=m3;
}
return dset;
}
}
Data.java
package XBWKNN; /**
* 一条数据
* @author XBW
* @date 2014年8月16日
*/ public class Data{
Double x1;
Double x2;
Double x3;
Double costfun;
int type;
}
output: