关于分类问题的例子：

• 垃圾邮件分类问题
• 分类网上交易
• 对肿瘤的分析辨别预测

**logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。
**

基本思想：
1.寻找合适的假设函数，即分类函数，用以预测输入数据的判断结果；

2.构造代价函数，即损失函数，用以表示预测的输出结果与训练数的实际类别之间的偏差；

3.最小化代价函数，从而获取最优的模型参数。

假设函数（分类函数）修改得到：

其中函数g为

其中g函数是Sigmoid函数或者是逻辑函数。

Sigmoid函数图像：

从图像观察可以得到g（z）函数的值一直都在0~1之间，所以就可以推断得出h（x）的值也一定是在0~1之间。

所以假设函数和逻辑函数结合就得到：

关于肿瘤预测问题的例子：

决策界限

假设我们有一个训练集如图：（假设我们都已经拟合了这些数据

线性边界：

非线性边界：

决策边界不是训练集的属性，而是假设本身及其参数的属性。
只要给定了参数向量θ，对应的图像也会随之确定。

hθ(x)函数的值表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

代价函数：

其中：

当y=1的时候：

当y=0的时候：

等价于：

代入代价函数，得：

其中的Cost函数和J函数都是基于最大似然估计法推导得到的。【关于最大似然估计法后续笔记会详细提到】

为了能够拟合函数，我们要找出让J函数取得最小值的参数θ，最小化代价函数的方法，是使用梯度下降法。

如果说想要获得代价函数J的最小值，重复θ的更新过程：
θ_j=θ_j-α ∂/(∂θ_j ) T（θ），J=0，1，2……n 其中α是学习步长

求偏导得：

最后得过程可以改写为：

多元分类：一对多
原理：
假如我们由一个训练集（如图），包含着三个类别：三角形表示y=1，正方形表示y=2，叉表示y=3
通常得解决方式就是：将这个训练集转化为三个独立得二元分类问题。

参考部分：
吴恩达——机器学习
《机器学习实战》peter Harrinton

以上内容均属于个人学习课程笔记以及参考书籍阅读之后增加的内容。如有不妥之处，还请大家指出。谢谢~~