错误一：Traceback (most recent call last): 
File “grid.py”, line 223, in run 
if rate is None: raise RuntimeError(“get no rate”) 
RuntimeError: get no rate

LIBSVM版本问题，刚开始我使用最高版本libsvm-321版本，显示一直是该错误，no rate，查了众多资料发现更改libsvm版本可以完美解决该问题，我使用的是libsvm310版本，python2.7，gnuplot4.6.6，在Windows和linux下均编译成功。

错误二：Timeout: gnuplot is not ready 

该错误是gnuplot启动出错，解决方案为：重新执行。 
重新打开一个窗口，进入到libsvm\tools\目录下，执行grid.py和easy.py.

错误三：set term x11

在linux下，使用gnuplot时显示set term x11，该错误可以忽略，但是想要修改的小伙伴们可以参考这里：http://blog.csdn.net/sweet_life/article/details/7251307。

错误四：gnuplot not found 

解决方案：gnuplot路径设置错误，修改grid.py中 else条件后的gnuplot_exe路径。

if not is_win32:

       svmtrain_exe = "../svm-train"

       gnuplot_exe = "/usr/bin/gnuplot"

else:

       # example for windows

       svmtrain_exe = r"..\windows\svm-train.exe"

       # gnuplot_exe = r"c:\tmp\gnuplot\bin\pgnuplot.exe"

       gnuplot_exe = r"D:\Program Files\gnuplot466\bin\pgnuplot.exe"

在libsvm 工具包中，作者很友好的将参数优选自动化，再也不需要手动调参了，下面讲解一下大概的使用以及参数选择原则。

使用grid.py需要安装python 和gnuplot两个软件，具体安装方法详见： 
http://blog.csdn.net/u014772862/article/details/51828967 
在这篇文章中给出了这两个软件的下载地址。 
安装成功之后修改环境变量，将python 安装目录添加到计算机的环境变量path下。

1. 参数选择原则

在训练svm时， Chih-Jen Lin 提供了一个自动化参数选优的方式—grid search（由C和r组成），对每一个参数，使用libsvm得到一个cross-validation（CV）准确率，最优参数就是准确率最高时采用的参数。该方法常用在RBF核函数参数优选中。 
以下内容摘自《MATLAB 神经网络30个案例分析》第13章：

“关于SVM参数的优化选取，国际上并没有公认统一的最好的方法，现在目前常用的方法就是让c和g在一定的范围内取值，对于取定的c和g对于把训练集作为原始数据集利用K-CV方法得到在此组c和g下训练集验证分类准确率，最终取使得训练集验证分类准确率最高的那组c和g做为最佳的参数，但有一个问题就是可能会有多组的c和g对应于最高的验证分类准确率，这种情况怎么处理?这里采用的手段是选取能够达到最高验证分类准确率中参数c最小的那组c和g做为最佳的参数，如果对应最小的c有多组g，就选取搜索到的第一组c和g做为最佳的参数。这样做的理由是:过高的c会导致过学习状态发生，即训练集分类准确率很高而测试集分类准确率很低(分类器的泛化能力降低)，所以在能够达到最高验证分类准确率中的所有的成对的c和g中认为较小的惩罚参数c是更佳的选择对象。”

2. grid.py 使用

使用IDLE打开grid.py，切记不要使用notepad++等其他软件打开该文件。 
修改gnuplot pathname：打开README，我们发现有这样一段话：

For windows users, please use pgnuplot.exe.

If you use cygwin on windows, please use gunplot-x11.

根据上面的理解，在gnuplot安装目录下，打开bin目录，寻找pgnuplot.exe或者gunplot-x11。在linux下的话修改if条件后的路径，在windows下的话修改else下面的路径就ok啦。 
找到gnuplot 的安装目录，打开gnuplot\bin\，复制该目录替换上面的c:\tmp\gnuplot\bin\pgnuplot.exe”，在windows环境下的修改方式如下：

if not is_win32:

   svmtrain_exe = "../svm-train"

   gnuplot_exe = "/usr/bin/gnuplot"

else:

   # example for windows

   svmtrain_exe = r"..\windows\svm-train.exe"

   gnuplot_exe = r"D:\Program Files\gnuplot466\bin\pgnuplot.exe"

修改成功后保存即可。grid.py 使用说明

3. 实例

• 测试输入：在使用grid.py之前，先将使用说明Usage列出：

grid.py [-log2c begin,end,step] [-log2g begin,end,step] [-v fold] [-svmtrain pathname] [-gnuplot pathname] [-out pathname] [-png pathname] [additional parameters for svm-train] dataset

• 1

打开cmd窗口，将目录切换到grid.py所在的目录，执行以下命令：

#这里，采用默认参数

python grid.py heart_scale

#默认参数为：

fold = 5

c_begin, c_end, c_step = -5,  15, 2

g_begin, g_end, g_step =  3, -15, -2

• 中间结果：执行grid.py，在cmd窗口和gnuplot 输出结果：

这里将上图窗口中的输出解释一下：

workers c1 g2 rate （best_c, best_g, best_rate）

# 其中，

best_c = 2.0**c1

best_g = 2.0**g1

if (rate > best_rate) or

   (rate==best_rate and g1==best_g1 and c1<best_c1):

          best_rate = rate

          best_c1,best_g1=c1,g1

          best_c = 2.0**c1

          best_g = 2.0**g1

# grid.py 默认5-fold cross-validate，也就是说，一个(c,g)组可能对应多个rate，best_rate = max(rates)(最大最优原则)。

• 结果输出：grid.py输出两个文件： 
  1. dataset.png: the CV accuracy contour plot generated by gnuplot，测试heart_scale，输出heart_scale.png图像在 tools目录下，该图像显示了数据集名称以及最优（c,g）和best_rate。
  2. dataset.out: the CV accuracy at each (log2(C),log2(gamma))，输出每一个（c,g）组以及交叉验证结果。

最近看LIBSVM，代码结构不是很明白，上网查到了很多关于代码结构注解的资料，在这里将 我认为比较好的一些资料进行汇总一下，当然，在文章最后有这些资料的链接地址。

libsvm中主要使用到的类（svm.cpp）

在做分类过程中，我们先看文件svm.cpp，该文件中包含了类的继承和组合（实线表示继承关系，虚线表示组合关系）

class Cache：本类主要负责运算所涉及的内存的管理，包括申请、释放等。 
class Kernel：本类主要包括核函数的定义、克隆，矩阵Q（）的计算等。这里关于矩阵Q的解释请看参考资料1。常见的核函数有：

 
class Solver：An SMO algorithm in Fan et al., JMLR 6(2005), p. 1889–1918，是二次规划问题，使用算法SMO。 
class Solver_NU：该类继承Solver类，Solver for nu-svm classification and regression。 
class SVC_Q：继承Kernel类，Q matrices for various formulations。 
class ONE_CLASS_Q：继承Kernel类，只处理 1 类分类问题(?)，故不保留 y[i]。编号只有 1 类。 
class SVR_Q：继承Kernel类，本类主要是用于做回归。

svm-train过程（这里只解释分类过程）

svm-train函数原型为：

svm_model *svm_train(const svm_problem *prob, const svm_parameter *param)

根据选择的算法，来组织参加训练的分样本，以及进行训练结果的保存。其中会对样本进行初步的统计。如下为训练过程：

→统计类别总数,同时记录类别的标号，统计每个类的样本数目

→将属于相同类的样本分组，连续存放，            svm_group_classes

→计算权重C

→训练n(n-1)/2个模型

    →初始化nozero数组，便于统计SV

    →//初始化概率数组

    →训练过程中，需要重建子数据集，样本的特征不变，但样本的类别要改为        +1/-1

    →//如果有必要，先调用svm_binary_svc_probability

    →训练子数据集svm_train_one

    →统计一下nozero,如果nozero已经是真，就不变，如果为假，则改为真

→输出模型

→主要是填充svm_model,

→清除内存

svm-predict预测过程

svm-predict函数使用说明:

"Usage: svm-predict [-b 0/1] test_file model_file output_file\n"

    "-b probability_estimates: whether to predict probability estimates, 0 or 1 (default 0); for one-class SVM only 0 is supported\n");

预测过程如下：

→参数获取，读取预测数据

→模型加载svm_load_model

→预测并输出predict-label

   →if (predict_probability && (svm_type==C_SVC || svm_type==NU_SVC)) 调用svm_predict_probability函数

   →else  调用svm_predict函数

→清除内存svm_free_and_destroy_model

c-svc计算过程

参考资料及简介

1. http://download.csdn.net/detail/xiahouzuoxin/5778927 
   林智仁SVM讲义(英文)，SVM理论基础看这个就够了
2. http://www.csie.ntu.edu.tw/~cjlin/papers/libsvm.pdf 
   该文档是*林智仁提供的LIBSVM使用说明文档。
3. http://download.csdn.net/detail/lpcarl/8235115 
   这是上海交大模式分析与机器智能实验室对LIBSVM的注解，非常全面。上面的一部分资料也是摘自该文章。
4. http://blog.csdn.net/zy_zhengyang/article/details/45009431 
   给出了C-SVC的计算过程，以图解的方式快速直观的看懂c-svc训练过程。
5. http://www.cppblog.com/guijie/archive/2012/03/26/169034.html 
   这是一个中文版的理解型的FAQ，有很多你疑惑的问题可以从这里找到。

最近学习libsvm库，将一些个人认为可以mark的东西做了记录，虽然README文档很清晰，但是在这篇文章中列出了dual problemd和核函数的公式，这样在选择参数时更加清楚。刚开始学习LIBSVM库时直接一脸懵，现在也还是在不断摸索中，如若有理解错误，请指出哦，谢谢！

Libsvm 使用步骤： 
1. 按照libsvm要求的数据格式，将要训练和预测的数据准备好；http://blog.csdn.net/u014772862/article/details/51828981 
2. 使用svm-scale实现数据缩放，可有可没有，需要按照特征的相关性进行操作； 
3. 考虑svm-train时是否使用核函数以及核函数的选择，建议首先考虑RBF核函数； 
4. 采用grid.py选择最优参数c和g；http://blog.csdn.net/u014772862/article/details/51829727 
5. 设置svm-train参数，对整个数据集训练获取svm模型； 
6. 利用svm-predict加载训练好的模型进行测试与预测。

1. svmscale 的用法

对数据集缩放的目的在于： 
1）避免原始数据中部分特征范围过大而另一部分特征范围过小； 
2）避免在训练时选择核函数计算内积时引起数值计算的困难； 
3）加快训练速度，提高准确率。 
因此，将数据缩放到[-1,1]或者[0,1]之间。

用法：svm-scale [options] data_filename” 
其中，options选择如下： 
-l lower，数据下限标记，设置lower值表示缩放后数据下限，默认为-1； 
-u upper，数据上限标记，设置upper值表示缩放后数据上限，默认为1； 
-y y_lower y_upper，是否对目标值同时进行缩放，y_lower 表示下限值， y_upper表示上限值； 
-s save_filename，将缩放的规则保存为文件save_filename； 
-r restore_filename，表示将缩放规则文件restore_filename载入后按此缩放； 
filename，待缩放的数据文件。 
缩放规则文件可以使用notepad++或者其他文本操作软件打开，格式为： 
lower upper 
index1 lval1 uval1 
index 2 lval2 uval2 
………………. 
其中，lower和upper是数据的上下限，与参数设置中的lower和upper含义相同，index表示测试数据集的特征维数，lval 为该index维特征对应转换后下限lower 的特征值，uval 为该index维特征对应转换后上限upper 的特征值。输入命令./svm-scale -s heart_scale.range heart_scale>heart_scale.scale测试svm-scale，下面是缩放heart_scale数据输出的缩放规则文件heart_scale.range.

x

-1 1

1 -1 1

2 -1 1

3 -1 1

使用示例： 
1) svmscale –s train.range train>train.scale 
表示采用缺省值（将特征缩放到[-1,1]之间，对y目标值不进行缩放）对数据集train进行缩放，其结果保存在文件train.scale中，缩放规则保存在文件train.range中。 
2) svmscale –r train.range test>test.scale 
表示载入缩放规则文件train.range，按照文件中的上下限对应的特征值和上下限值线性的对数据test进行缩放操作，并将其结果保存在文件train.scale中。

2. svm-train的用法

用法： svm-train [options] training_set_file [model_file] 
其中， 
-s svm训练，默认0, 其中前三种用来做分类问题，后两种用来实现回归问题。 
0 c-SVC， 
1 nu-SVC，  
2 one-class SVM， 
3 epsilon-SVR， 
4. v-SVR，

-t 核函数类型 
0 线性核函数， 
1 多项式核函数， 
2 RBF核函数， 
3 sigmoid核函数， 
4 自定义核函数

-v n, n-fold交叉验证。 
-d degree，设置多项式核函数的参数d，默认为3。 
-g gamma，设置多项式、RBF 、sigmoid核函数的参数，在多项式和sigmoid中gamma表示为a，在RBF中表示为r，默认为1/num_features。 
-r 设置多项式和sigmoid核函数中的常数项c，默认为0。 
-c cost，设置c-svc，epsilon-SVR，nu-SVR类型的惩罚系数C，默认为1。 
-n nu，设置nu-SVC，one-class SVM，nu-SVR类型的参数v，默认为0.5。 
-p epsilon，设置epsilon-SVR的loss function参数，默认为0.1。 
-m cachesize ，设置cache大小，默认为100MB。 
-e epsilon，设置终止条件，默认为0.001。 
-h shrinking，是否运用shrinking启发式，默认为1。 
-b probability_estimates，是否使用概率估计模型，默认0。 
-wi weight，将i类的参数C设置为weight*C，默认为1。 
-v n， n-fold交叉验证。

使用示例： 
svmtrain train3.scale train3.model 
训练 train3.scale， 将模型保存于文件 train3.model， 并在 dos 窗口中输出如下结果：

optimization finished, #iter = 1756

nu = 0.464223

obj = -551.002342, rho = -0.337784

nSV = 604, nBSV = 557

Total nSV = 604

其中，#iter 为迭代次数，nu 与前面的操作参数-n ν 相同，obj 为 SVM 文件转换为的二次规划求解得到的最小值，rho 为判决函数的常数项 b ，nSV 为支持向量个数，nBSV 为边界上的支持向量个数，Total nSV 为支持向量总个数。 
模型文件介绍：

svm_type c_svc % 训练所采用的svm类型，此处为C SVC −

kernel_type rbf % 训练采用的核函数类型，此处为RBF核

gamma 0.047619 % 与操作参数设置中的 γ 含义相同

nr_class 2 % 分类时的类别数，此处为两分类问题

total_sv 604 % 总共的支持向量个数

rho -0.337784 % 决策函数中的常数项 b

label 0 1 % 类别标签

nr_sv 314 290 % 各类别标签对应的支持向量个数

SV % 以下为支持向量

1 1:-0.963808 2:0.906788 ... 19:-0.197706 20:-0.928853 21:-1

1 1:-0.885128 2:0.768219 ... 19:-0.452573 20:-0.980591 21:-1

... ... ...

1 1:-0.847359 2:0.485921 ... 19:-0.541457 20:-0.989077 21:-1 

3. svm-predict的用法

用法：svm-predict [options] test_file model_file output_file 
其中 
-b probability_estimates，是否需要进行概率估计预测，可选值为 0 或者 1，默认值为 0。 
est_file 是要进行预测的数据文件； 
model_file 是由 svmtrain 产生的模型文件； 
output_file 是 svmpredict 的输出文件，表示预测的结果值。 
svmpredict 没有其它的选项。

网上大部分文章都是在windows下如何使用的教程，自己摸索加上各种谷歌，终于搞定。参数选择工具prid.py在mac下的使用尤其折腾。

libsvm的使用

libsvm的基本使用（不使用grid.py的情况下）

1. 可选择使用命令行直接编译或者链接在python/matlab（本人常用这两个）平台上。由于matlab使用最新版，貌似是有点问题的，就使用了python平台和命令行。
2. python平台下的使用等稍后再专门写一篇博文，先讲较为简单的命令行编译。

3. （1）第一步：转换格式，网上找到excel的一个宏文件，可以一键从正常格式转换为libsvm的格式，也可以再转换回去。在我的资源下载可以下载到，链接为http://download.csdn.net/my/downloads 
   或http://download.csdn.net/my/uploads。

   （2）第二步：数据归一化，使用svm-scale。在终端进入libsvm的文件夹后，使用自带的测试数据heart_scale，输入如下，讲归一化之后的文件保存为heart_scale.scaled： 
    
   使用参数设置可输入svm-scale后参考： 
   

   （3）训练样本，生成model，使用svn-train训练（使用最简单的默认参数） 
    
   默认生成的model名称为heart_scale.model。 
   查看详细的参数调整，输入svm-train即可。

   （4）测试数据，使用svm-predict，分类的结果输出到result中（1/-1的二分类，结果为1或-1） 
   

4. 可看到预测正确率为86.7%。

libsvm的使用grid.py调整参数

1. 下载gnuplot 
   可使用homebrew下载，homebrew的使用和安装网上有很多说明。 
   其安装路径为/usr/local/Cellar，但是会同时自动在/usr/local/bin安装。 
   

2. 修改grid.py的默认路径，指向gnuplot 
   

3. 安装python 
   mac是有自带的python的，这一步可以略过。

4. 讲训练数据拷贝到tools文件夹下，使用python grid.py [data]选择参数，成功后如下图： 
   
   最下面的一行前两个数即为选出来的c和g。 
    
   同时会生成heart_scale.png和heart_scale.out，显示参数选择过程：

5. 使用选出来的参数训练新的model 
   退回到上一层文件夹，使用添加了参数的svm-train训练。-v 5为交叉验证，分成5份。自定义生成的模型名为model。 
   

6. 使用model进行test，利用svm-predict