1.种类
感知器
Logistic回归
Softmax回归
交叉熵和对数似然
支持向量机
Softmax回归是多分类，其他都是二分类
2.线性回归模型
\(f(x;w,b)=w^Tx +b ,y\in R\)
3.线性分类模型
\(g(f(x;w))=\begin{cases} 1 & if\ f(x;w)>0\\ 0& if\ f(x;w)<0\\ \end{cases}\)
4.二分类问题Binary Classification
训练集
\(\{(x^{(n)}),y^{(n)}\}_{n=1}^{N}\)
二分类问题
\(x^{(n)}\in \mathbb{R}^D\)
\(y^{(n)}\in\{0,1\}\)
模型
\(g(f(x;w))=\begin{cases} 1 & if\ f(x;w)>0\\ 0& if\ f(x;w)<0\\ \end{cases}\)
损失函数
\(0-1函数:\mathcal{L}_{01}(y,g(f(x;w)))=I(y\ne g(f(x;w)))- 不可求导\)
5.多分类问题Mult-class Classification
训练集
\(\{(x^{(n)}),y^{(n)}\}_{n=1}^{N}\)
二分类问题
\(x^{(n)}\in \mathbb{R}^D\)
\(y^{(n)}\in\{1,2,...,C\},C>2\)
模型
损失函数
\(0-1函数:\mathcal{L}_{01}(y,g(f(x;w)))=I(y\ne g(f(x;w)))- 不可求导\)
5.argmax方式
\(一种改进的"一对其余"方式,共需要C个判别函数\)
\(f_c(x;w_c)=w_c^T+b_c,c\in {1,2,...,C}\)
\("argmax"方式的预测函数定义为\)
\(y=argmax_{c=1}^C\ f_c(x;w_c)\)