机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

最小二乘线性回归,感知机,逻辑回归的比较:

 

最小二乘线性回归

Least Squares Linear Regression

感知机

Perceptron

二分类逻辑回归

Binary Logistic Regression

多分类逻辑回归

Multinomial Logistic Regression

特征x

x=([x1,x2,...,xn,1])T

权重w

w=([w1,w2,...,wn,b])T

目标y

实数(负无穷大到正无穷大)

两个类别

1,-1

两个类别

0,1

多个类别

c=0,1,...,k-1

目标函数

 机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison) 机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

(类别1的概率)

机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

for c=0,1,...,k-1

(全部类别的概率)

对y的估计

 机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)  机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

(类别1的概率)

机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

for c=0,1,...,k-1

(全部类别的概率)

映射函数

sign函数

sigmoid函数

softmax函数

算法的作用

预测连续值(回归)

预测离散值(分类)

预测离散值(分类)

预测离散值(分类)

损失函数

机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)  机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison) 机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison) 机器学习---三种线性算法的比较(线性回归,感知机,逻辑回归)(Machine Learning Linear Regression Perceptron Logistic Regression Comparison)

损失函数的含义

观测值与估计值之间的欧式距离平方和

错误分类点距离分类超平面的总长度

估计的概率分布与真实的概率分布之间的相似程度,对于样本(xi,yi),它的正确分类类别是c,那么如果它计算出的目标属于类别c的分类概率的值为1,则说明分类完全正确,这种情况下对损失函数没有贡献(ln1=0);而如果分类错误,则它计算出的目标属于类别c的的分类概率将是一个小于1的值,这种情况下将对损失函数有所贡献

估计的概率分布与真实的概率分布之间的相似程度,对于样本(xi,yi),它的正确分类类别是c,那么如果它计算出的目标属于类别c的分类概率的值为1,则说明分类完全正确,这种情况下对损失函数没有贡献(ln1=0);而如果分类错误,则它计算出的目标属于类别c的的分类概率将是一个小于1的值,这种情况下将对损失函数有所贡献

损失函数的本质

目标y的条件概率P(y|x)在高斯分布下的极大似然估计(取负数和对数)

/

目标y的条件概率P(y|x)在伯努利分布下的极大似然估计(取负数和自然对数)

目标y的条件概率P(y|x)在多项分布下的极大似然估计(取负数和自然对数)

最优解方法

解析解(closed form),梯度下降法,牛顿法,拟牛顿法

随机梯度下降法,牛顿法,拟牛顿法

梯度下降法,牛顿法,拟牛顿法

梯度下降法,牛顿法,拟牛顿法

上一篇:day17 json 和命名对象


下一篇:【C#进阶系列】14 字符、字符串和文本编码