文章目录
频率派机器学习
1. 线性回归
我们知道线性回归的基本模型是 f ( w , b ) = w T x + b f(w,b)=w^Tx+b f(w,b)=wTx+b,线性回归有三要素：1.线性 ；2.全局性 ；3.数据未加工；新的机器学习的算法就是为了打破这三个要素而产生的
1.1 线性
1.1.1 属性非线性
属性非线性就是从未知数入手，比如说用特征变换的方法将变量从一维变换到高位，相当于二次型的意思，比如有时候数据会表示成： x 1 2 + x 2 2 + x 1 x 2 + . . . + x p 2 x_1^2+x_2^2+x_1x_2+...+x_p^2 x12+x22+x1x2+...+xp2
1.1.2 全局非线性
全局非线性的方法：是通过对函数的运算结果增加一个函数，来将线性函数改造成非线性函数，比如，神经网络中的激活函数，还有通过阀值来将软分类变成硬分类的分类函数
1.1.3 系数非线性
所谓系数非线性，就是系数的生成结果并不是单一的。就像神经网络算法一样，算法的收敛结果是一个分布，也就是位于一个区间之中，这样的算法结果一定不是线性的，这种通过了不确定的方法来引入非线性。
1.2 全局性
所谓全局性，也就是将所有的数据看成一个整体来进行拟合，而打破的方法很简单，就是将数据之间分隔开，分段进行拟合。代表有 线性样条回归，决策树等方法
1.3 数据未加工
就是输入数据不经过加工直接的输入模型中，那么我们就用新的方法将这个打破，比如：主成分分析PCA,流形等方法来对输入数据进行预处理
2. 线性分类与线性回归关系
线性回归和线性分类之间有着很大的联系，从某种意义上来说，线性分类就是线性回归函数使用激活函数的结果。同时也可以看成是线性回归降维的结果。对于一个线性回归函数，我们可以通过添加全局函数的形式来将其转换为线性分类函数，
y
=
w
T
x
+
b
→
y
=
f
(
w
T
x
+
b
)
y=w^Tx+b \rightarrow y=f(w^Tx+b)
y=wTx+b→y=f(wTx+b)
注
：
f
(
w
T
x
+
b
)
注：f(w^Tx+b)
注：f(wTx+b)为激活函数，y的值域为{0,1}或者[0,1];这里我们区分两个，如果只有0,1这两个数值，那么就是硬分类，如果是区间[0,1]，那么就是软分类；
可
以
看
出
f
函
数
将
w
T
x
+
b
⟼
可以看出f函数将w^Tx+b\longmapsto
可以看出f函数将wTx+b⟼{0,1}；所以
f
f
f是激活函数；而
f
−
1
f^{-1}
f−1被称为链接函数，将{0,1}
⟼
\longmapsto
⟼ w^Tx+b
2.1 硬分类
所谓硬分类就是y的值域只有两个0,1；大致上可以分成线性判别分析，也就是Fisher判别分析和感知机
2.2 软分类
软分类就是y的值域在区间[0,1]，大致可以分成生成式模型：
Gaussian Distribution Analysis 和著名的判别式模型Logistic Regression
P
(
y
∣
x
)
=
p
(
x
∣
y
)
p
(
y
)
p
(
x
)
∝
p
(
x
∣
y
)
p
(
y
)
P(y|x)=\frac{p(x|y)p(y)}{p(x)}\propto p(x|y)p(y)
P(y∣x)=p(x)p(x∣y)p(y)∝p(x∣y)p(y)
我们在求解p(y=0|x)或p(y=1|x)的时候，我们不直接求谁大谁小，而是转向求p(x|y=0)p(y)或p(x|y=1)p(y=1)
3.感知机模型
感知机模型的中心思想是求被错误分类的点的个数。