1.3 知识图谱作为深度学习的约束

Hu 等人提出了一种将一阶谓词逻辑融 合进深度神经网络的模型，并将其成功用于解决情感分类和命名实体识别等问题 [7]。 逻辑规则是一种对高阶认知和结构化知识 的灵活表示形式，也是一种典型的知识表 示形式。将各类人们已积累的逻辑规则引 入到深层神经网络中，利用人类意图和领 域知识对神经网络模型进行引导具有十分 重要的意义。其他一些研究工作则尝试将 逻辑规则引入到概率图模型，这类工作的 代表是马尔科夫逻辑网络 [8]，但是鲜有工作 能将逻辑规则引入到深度神经网络中。

Hu 等人所提出的方案框架可以概括 为“teacher-student network”，如图 2 所 示，包括两个部分 teacher network q(y|x) 和 student network pθ (y|x)。其中 teacher network 负责将逻辑规则所代表的知识建 模，student network 利用反向传播方法加 上 teacher network 的约束，实现对逻辑规 则的学习。这个框架能够为大部分以深层 神经网络为模型的任务引入逻辑规则，包 括情感分析、命名实体识别等。通过引入 逻辑规则，在深度神经网络模型的基础上 实现效果提升。

其学习过程主要包括如下步骤：

（1）利用 soft logic 将逻辑规则表达为 [0, 1] 之间的连续数值。

（2）基于后验正则化 (posterior regularization) 方 法， 利 用 逻 辑 规 则 对 teacher network 进 行 限 制， 同 时 保 证 teacher network 和 student network 尽量接 近。最终优化函数为

（3）对 student network 进行训练，保证 teacher network 的预测结果和 student network 的预测结果都尽量地好，优化函数如下：

（4）重复 1~3 的过程直到收敛。