深度学习课程笔记(二)Classification: Probility Generative Model

深度学习课程笔记(二)Classification: Probility Generative Model 

2017.10.05

相关材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

本节主要讲解分类问题:

classification 问题最常见的形式,就是给定一个输入,我们去学习一个函数,使得该函数,可以输出一个东西(label)。如下所示:

深度学习课程笔记(二)Classification: Probility Generative Model

其实好多其他的问题,都是分类问题演化而来,都可以通过分类问题来解决,如:物体检测,跟踪,分割 等等。。。

那么该怎么执行这个任务呢?万事都是从 training data 说起,我们首先需要收集 训练数据,如下图所示:

深度学习课程笔记(二)Classification: Probility Generative Model

收集足够的 training data,这些data 是由 输入 和 输出构成的,即:input 和  label信息。我们可以简单的将分类问题当做回归问题来做。例如:我们要进行二分类的问题,我们可以将 label 1 设置为目标1,label 2 设置为 目标2. 然后测试的时候,根据输出 value 的高低来进行判别。即:如果接近于 1,就认为该类是属于 class 1,接近于 -1,就认为属于 class 2.

那么,可以得到如下的效果:

深度学习课程笔记(二)Classification: Probility Generative Model

我们只要找到这个分界线即可,使得我们可以将蓝色和红色的数据分布,区分开来。看起来,效果不错的,可以搞。。。但是,实际上,是有问题的。。。有什么问题呢?

因为当蓝色点数据的分布是如下的情况,即:右下角有部分数据,其输出的score 远大于 1,但是回归的目标是,使得蓝色数据的输出向1靠近,那么,这部分蓝色点就会出现 error,那么,模型就会调整分界面,朝着紫色的方向移动,从而使得蓝色数据那部分的score 不是那么的大,从而使得整体的 error 降低。但是这个时候,得到的分界面并不是好的,因为它错误的划分了某些点。

深度学习课程笔记(二)Classification: Probility Generative Model

所以,上述例子就说明了,回归问题得到的模型,并不直接适用分类问题。而理想的解决分类问题的流程,应该是这样子滴:

深度学习课程笔记(二)Classification: Probility Generative Model

即:我们要找一个 function,该函数能够对于类别1 的输出score 大于0,对于另一个类别,小于 0. 损失函数就是在训练集合中,错误分类的次数。而找这么一个函数的方法有 SVM,Perceptron 等等。但是这次课程,李宏毅老师讲了另外一种方法。什么方法呢?

====================  分割线  =======================

李宏毅老师先给了一个例子:

深度学习课程笔记(二)Classification: Probility Generative Model

告诉你以上信息关于两个盒子中,从 盒子1中取出蓝色球的概率是多少?根据贝叶斯公式,我们可以得到上述公式,然后带进去算一下就得到了。这个看起来,没什么问题。

类似的,我们将两个盒子,换成 两个类别:

深度学习课程笔记(二)Classification: Probility Generative Model

那么,给定一个 x,问这个样本属于 class 1 的概率是多少?我们可以用上述公式来完成。但是问题是,我们需要知道右边公式中的每一项的值是多少?我们的任务就是要从 training data 中去学习这些概率,从而完成整个分类问题。

所以,这样子就变成了一个产生式模型(Generative Model)。我们要构建一个这样子的model,使得:

深度学习课程笔记(二)Classification: Probility Generative Model

那么,产生出样本 x 的概率是什么呢?就是从类别1中采样出的x的概率乘以从c1中采样出 x 的概率 加上 类型2的概率乘以从类别2中采样出x的概率的加和。这样,我们就可以自己产生 x ,这就是产生式模型。

回到二元分类的问题,我们有两个类别,water 和 normal,那么统计 training data 中这两个类别出现的概率,分别算出来,这个算是先验信息。

深度学习课程笔记(二)Classification: Probility Generative Model

那么,问题来了,给定一个海龟,问,该海龟属于 water 的概率是多大呢?我们知道,我们的 sample 都是用 vector 来表示的,那么,我们可以将 water 类别的sample 都可视化出来看看,他们的分布到底是什么样子的呢?

深度学习课程笔记(二)Classification: Probility Generative Model

我们简单的用两维的 feature 来可视化这 79种 training sample,可以得到如下的分布图:

深度学习课程笔记(二)Classification: Probility Generative Model

那么,其中每一个点,都代表了一个样本,我们可以将其可视化出来看,如:【48,50】代表了是这个鸭子,【65,64】代表了这个站立的乌龟,那么,我们所要猜测的海龟并不在这些 sample 当中,那么它属于 water 类别的概率该怎样计算呢?

深度学习课程笔记(二)Classification: Probility Generative Model

那么,我们将这 79 个样本看做是 所有water class 的冰山一角,而真正的 water 类别是属于一个高斯分布的,而这些样本只是高斯分布采样出来的一点点的样本。

深度学习课程笔记(二)Classification: Probility Generative Model

我们怎样才能model出这个高斯分布,才是着重要解决的问题。然后李宏毅老师又讲解了部分高斯分布的知识。看看就可以了,大家都懂吧?

深度学习课程笔记(二)Classification: Probility Generative Model

那么,问题继续:假设有了这些样本,我们可以model出一个高斯分布出来,然后只要将 new sample x,带入这个函数就可以得到其属于该高斯分布的概率了。

深度学习课程笔记(二)Classification: Probility Generative Model

那么,我们怎么找这个 均值和方法呢?使得该高斯分布尽可能好的去model 这些样本?这就要引入最大似然估计了。。。。

如下所示,这些样本可能是任意高斯分布采样出来的,但是不同的高斯分布采样出这些点的似然性是不同的,如:就似然性来说,左下角的那么高斯分布就比右上角的高斯分布要高。

深度学习课程笔记(二)Classification: Probility Generative Model

我们该怎么计算这个似然性呢?我们可以将这些点可以看做是独立采样出来的,那么这些点的似然性就是,每一个的概率相乘得到。我们要优化的目标就是,使得找到一组参数,使得该似然性最大:

深度学习课程笔记(二)Classification: Probility Generative Model

可以通过微分的方法,来求解出上述结果。有了上面这两个公式,我们将两个类别的数据分别带进去,可以得到:

深度学习课程笔记(二)Classification: Probility Generative Model深度学习课程笔记(二)Classification: Probility Generative Model

有了这两个高斯分布的情况,我们就可以直接带进去算算就知道分类的情况了。

深度学习课程笔记(二)Classification: Probility Generative Model

下图是李宏毅老师做的一些实验,上面左上角那个是根据样本得到的概率分布的情况,右上角那个是确定一个边界线之后,在 training data 上的分类情况。可以看到,在两维的情况下,效果不是很好。在测试数据上,只有 47%的精度。

所以,又尝试了 7维的情况,得到了较好结果,但是,依然不是非常好。。。后续会有改进。。。

深度学习课程笔记(二)Classification: Probility Generative Model

=========================  分界线  ================================

为了得到更好的结果,我们可以做如下的改动:

深度学习课程笔记(二)Classification: Probility Generative Model

我们用参数共享的方法,来做这件事。我们要得到的高斯分布,其均值不变,但是共享方差。所以优化的目标,变成了上述的情况。根据这个计算规则,我们可以得到一组新的高斯分布。

来看看结果怎样吧。

深度学习课程笔记(二)Classification: Probility Generative Model

我们可以看到,在我们共享方差之后,这个分界线变成了直线。。。再用了7维的feature之后,其识别精度达到了 73%。。。。可以看到这个提升,还是蛮明显的。

再次回到我们之前说过的三个步骤:

深度学习课程笔记(二)Classification: Probility Generative Model

当然,这里概率的选择,不是固定的,你可以选择高斯分布,也可以选择其他的分布。。。

深度学习课程笔记(二)Classification: Probility Generative Model


紧接着,我们分析下后验概率:

深度学习课程笔记(二)Classification: Probility Generative Model

那么,我们继续来看这个关于 z 的 sigmoid 函数:

深度学习课程笔记(二)Classification: Probility Generative Model

我们把上面 P(x|c)带入到 z 的函数中去,做相关的整理后,可以得到:

深度学习课程笔记(二)Classification: Probility Generative Model

关于 1/2 那一项中的两项,我们可做进一步的展开:

深度学习课程笔记(二)Classification: Probility Generative Model

将这两项分别带到上述公式中,我们可以得到 z的新的表达式:

深度学习课程笔记(二)Classification: Probility Generative Model

假设这两个方差是相同的,那么我们有:

深度学习课程笔记(二)Classification: Probility Generative Model

然后上述 z 的函数,可以进一步的简化,我们可以得到:

深度学习课程笔记(二)Classification: Probility Generative Model

最终 z 变成了:

深度学习课程笔记(二)Classification: Probility Generative Model

我们有了均值和方差,那么z 函数中的值,都可以用新的标量来表示,即:

深度学习课程笔记(二)Classification: Probility Generative Model

那么,可以看出,这个 z 的函数,其实是一个线性的函数了,这也就解释了为啥之前共享方差后,分界面是一个直线了。还记得吧,看这里:

深度学习课程笔记(二)Classification: Probility Generative Model

那么,在产生式模型中,我们所要做的就是算出:

深度学习课程笔记(二)Classification: Probility Generative Model

然后,我们就有了 w 和 b。。。。呵呵。 。。。是的,我们类似累活,就是为了算出这两个参数。。。

那么,分类问题,其实不用这么“舍近求远”直接求出 w 和 b 不就可以了吗?是的啊,我们下节课再说吧。。。哈哈。。。。

上一篇:20款高质量的 HTML5 网站模板【免费下载】


下一篇:javascript与java的不同之处