一周未见，甚是想念，今天小Mi带大家学习异常检测(Anomaly detection)的多元部分！废话不多说，我们开始吧~

7 多元高斯分布

今天学习的内容是异常检测算法的更进一步，涉及到多元高斯分布，它有一些优势，也有一些劣势，它能捕捉到之前的算法检测不出来的异常，首先我们来看一个例子。

假设有上图这些没有标签的数据，以数据监控中心监控机为例，两个特征变量分别是：CPU的负载、内存使用量，右图上侧为特征变量的图，下侧为特征变量的图，如果用高斯分布来拟合，得到，参数为，同时也可以得到内存使用量的高斯分布，参数为，这就是异常检测算法给建模的方法。现在假如说，在测试集中，有一个这样的样本，在绿色X的位置，它的值是0.4左右，值是1.5左右，观察这些数据，看起来他们大部分都在蓝色椭圆圈起来的范围内，而绿色X离椭圆内的任何数据都很远，因为会被当做一个异常数据。在好的样本数据中，CPU负载和内存使用量是彼此线性增长的关系，所以如果有一台机器CPU使用量很高，那么内存使用量也会很高，但是绿色X的样本看起来CPU负载很低，但内存使用量却很高，跟训练集中的其他样本都不同，因此应该是异常样本。

但是这两个相关的特征，值域范围比较宽，这种情况下，一般的高斯分布模型可能不能很好地识别异常数据，因为一般的高斯分布模型尝试的是去同时抓住两个特征的偏差，从而创造出一个比较大的判定边界。

下图粉红色的线（根据的不同其范围可大可小）是一般的高斯分布模型获得的判定边界，很明显绿色的X所代表的数据点很可能是异常值，但是其值却仍然在正常范围内。多元高斯分布将创建像图中蓝色曲线所示的判定边界。

在一般的高斯分布模型中，我们计算的方法是：通过分别计算每个特征对应的几率然后将其累乘起来，而在多元高斯分布模型中，我们将构建特征的协方差矩阵，用所有的特征一起来计算。

首先计算所有特征的平均值，然后再计算协方差矩阵： 

注:其中是一个向量，其每一个单元都是原特征矩阵中一行数据的均值。最后计算多元高斯分布的:  

其中：

是定矩阵，可以用det(sigma) 计算

是逆矩阵，下面我们来看看协方差矩阵是如何影响模型的：

上图是5个不同的模型，从左往右依次分析：

1.是一个一般的高斯分布模型

2.通过协方差矩阵，令特征1拥有较小的偏差，同时保持特征2的偏差

3.通过协方差矩阵，令特征2拥有较大的偏差，同时保持特征1的偏差

4.通过协方差矩阵，在不改变两个特征的原有偏差的基础上，增加两者之间的正相关性

5.通过协方差矩阵，在不改变两个特征的原有偏差的基础上，增加两者之间的负相关性

多元高斯分布模型与原高斯分布模型的关系：

可以证明的是，原本的高斯分布模型是多元高斯分布模型的一个子集，即像上图中的第1、2、3，3个例子所示，如果协方差矩阵只在对角线的单位上有非零的值时，即为原本的高斯分布模型了。

原高斯分布模型和多元高斯分布模型的比较：

原高斯分布模型被广泛使用着，如果特征之间在某种程度上存在相互关联的情况，可以通过构造新特征的方法来捕捉这些相关性。

如果训练集不是太大，并且没有太多的特征，我们就可以使用多元高斯分布模型啦。

8 使用多元高斯分布进行异常检测

那么本节我们就使用上节中的思想开发一个不同的异常检测算法吧~

多元高斯分布和多元正态分布：

有两个参数，。其中是n维向量，而是协方差矩阵，尺寸大小为。而的大小可以通过改变，得到一个范围的不同分布。

那么上述的参数如何拟合呢？

假设有一组样本，这些样本每个都是n维向量，并且样本均服从多元高斯分布。那么应该如何估计参数？

对于参数估计，有一个标准公式：

设置为训练样本的平均值。

同时设置： 

这和之前给大家介绍主成分分析算法（PCA算法）时介绍的是一样的，因此在给定数据集之后，参数的估计问题便可以解决了，并将其带入到异常检测算法中。

这时候其实大家就会疑问了，为什么不把上述所有的操作综合起来，直接开发一个异常检测算法呢？

那么它来咯~

1.首先用数据集来拟合模型，通过设定来拟合。

2.接下来当有一个新的测试样本时，根据多元高斯分布的公式来计算，如果得到的很小，就标记该样本为异常，如果大于参数就不能进行异常标记。也就是说，如果将多元高斯分布拟合到数据集中。

也就是说，如果将多元高斯分布拟合到数据集中，红色X部分会得到一个高斯分布（不包括绿色X），该分布在中间数据最多，越到外面的圈的范围越小。从而最后会发现绿色X确实是一个异常样本。

那么原始模型与多元高斯模型又有什么样的关系呢？

下图中服从高斯分布的三个样本都可以用原始模型进行拟合，而对于多元高斯分布而言，通过的多元高斯分布来定义的，因此模型中椭圆的分布轮廓总是轴对齐的。

而通过数学推导其实也可以证明原始模型就是某种特殊情形下的多元高斯分布，只需要设定协方差矩阵在非对角线上都是0就行了，有兴趣的同学不妨有空试一试呀！

那么该如何在原始模型和多元高斯模型之间选择呢？：

其实反而是原始模型被使用得更频繁一点，同时多元高斯模型又在捕捉特征间的关系方面有着更大的优势。

1.假如想进行异常检测，有一些不同的特征等，可以通过异常的组合值来捕捉异常样本，而多元高斯模型就可以自动捕捉到不同特征之间的关系。

2.原始模型的一个巨大优势就是计算成本比较低，可以适应巨大规模数量的特征，但多元高斯模型需要计算各种矩阵，因此计算成本就比较高昂，适应特征比较小的情况。

3.对于原始模型，即使有一个小的有一定相关性的训练集也能顺利运行；但是多元高斯模型算法就有一些数学性质需要注意，必须确保样本数量是特征数量的，不然无法使用该模型。

好啦，对于异常检测的学习就先到这咯~下周小Mi给大家安排推荐系统！我们，下周再见呦（挥手十分钟！）