Linear regression

 

SVM（support vector machines）

Advantages：

·Effective in high dimensional spaces.

·Still effective in cases where number of dimensions is greater than the number of samples.

·Uses a subset of training points in the decision function (called support vectors), so it is also memory efficient.

·Versatile: different Kernel functions can be specified for the decision function. Common kernels are provided, but it is also possible to specify custom kernels.

在高维空间有效。

在维数大于样本数的情况下仍然有效。

在决策函数中使用训练点的子集（称为支持向量），因此它也具有存储效率。

多功能：可以为决策功能指定不同的内核功能。 提供了通用内核，但是也可以指定自定义内核。

Disadvantage：

If the number of features is much greater than the number of samples, the method is likely to give poor performances.

SVMs do not directly provide probability estimates, these are calculated using an expensive five-fold cross-validation (see Scores and probabilities, below).

如果特征数量远大于样本数量，则该方法可能会产生较差的性能。

SVM不直接提供概率估计，而是使用昂贵的五倍交叉验证来计算的

 

线性可分

线性不可分（间隔margin最大）

在数据分析中会大量内存消耗，速度不快。

SVM在小量数据中范化能力好，在大数据中应用不佳.拥有非常好的泛化能力。

 

逻辑回归的算法

目标损失函数

 

Kernel methods(KMs)