受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network)，该网络由一些可见单元(visible unit，对应可见变量，亦即数据样本)和一些隐藏单元(hidden unit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0,1}。整个网络是一个二部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接，如下图所示：

 

  

1. RBM的学习目标-最大化似然(Maximizing likelihood)

  RBM是一种基于能量(Energy-based)的模型，其可见变量v和隐藏变量h的联合配置(joint configuration)的能量为：

  （式子-1）

  其中θ是RBM的参数{W, a, b}, W为可见单元和隐藏单元之间的边的权重，b和a分别为可见单元和隐藏单元的偏置(bias)。

  有了v和h的联合配置的能量之后，我们就可以得到v和h的联合概率：

                     （式子-2）

  其中Z(θ)是归一化因子，也称为配分函数(partition function)。根据式子-1，可以将上式写为：

    （式子-3）

  我们希望最大化观测数据的似然函数P(v)，P(v)可由式子-3求P(v,h)对h的边缘分布得到:

       (式子-4)

  我们通过最大化P(v)来得到RBM的参数，最大化P(v)等同于最大化log(P(v))=L(θ)：

                       (式子-5)

2. RBM的学习方法-CD(Contrastive Divergence，对比散列)

  可以通过随机梯度下降(stichastic gradient descent)来最大化L(θ)，首先需要求得L(θ)对W的导数：

       (式子-6)

  经过简化可以得到：

     (式子-7)

  后者等于

                           (式子-8)

  式子-7中的前者比较好计算，只需要求v_ih_j在全部数据集上的平均值即可，而后者涉及到v，h的全部2^|v|+|h|种组合，计算量非常大(基本不可解)。

  为了解决式子-8的计算问题，Hinton等人提出了一种高效的学习算法-CD(Contrastive Divergence)，其基本思想如下图所示：

    

  首先根据数据v来得到h的状态，然后通过h来重构(Reconstruct)可见向量v¹，然后再根据v1来生成新的隐藏向量h¹。因为RBM的特殊结构(层内无连接，层间有连接)， 所以在给定v时，各个隐藏单元h_j的激活状态之间是相互独立的，反之，在给定h时，各个可见单元的激活状态v_i也是相互独立的，亦即：

  (式子-9)

  重构的可见向量v¹和隐藏向量h¹就是对P(v,h)的一次抽样，多次抽样得到的样本集合可以看做是对P(v,h)的一种近似，使得式子-7的计算变得可行。

  RBM的权重的学习算法：

1. 取一个样本数据，把可见变量的状态设置为这个样本数据。随机初始化W。
2. 根据式子-9的第一个公式来更新隐藏变量的状态，亦即h_j以P(h_j=1|v)的概率设置为状态1，否则为0。然后对于每个边v_ih_j，计算P_data(v_ih_j)=v_i*h_j(注意，v_i和h_j的状态都是取{0,1})。
3. 根据h的状态和式子-9的第二个公式来重构v¹，并且根据v1和式子-9的第一个公式来求得h¹，计算P_model(v¹_ih¹_j)=v¹_i*h¹_j。
4. 更新边v_ih_j的权重W_ij为W_ij=W_ij+L*(P_data(v_ih_j)=P_model(v¹_ih¹_j))。
5. 取下一个数据样本，重复1-4的步骤。
6. 以上过程迭代K次。

 

  参考文献：

  1. R. Salakhutdinov. Deep Learning Tutorial.

  2. 张春霞, 姬楠楠, 王冠伟. 受限玻尔兹曼机简介.

  3. Wikipedia: Restricted Boltzmann Machine

  4. Edwin Chen： Introduction to Retricted Boltzmann Machine