例子简单讲就是给定n个三元组(A,R,B)作为训练集,然后给定A和R,神经网络输出B。这里涉及到学习A,R,B的特征表示,不仅要有意义,而且还有三者之间进行配合。
例子简介:亲戚关系推断
这节主要介绍一个使用神经网络做逻辑推理的例子:亲戚关系推断。
非常常见的家族图谱,就不赘述了。注意两个地方:等于号表示两者结婚了;上下两个图谱,表示两个家庭。
家庭图谱可以用作逻辑推断(例如妈妈的妈妈叫姥姥。。。),例子如下:
学习亲戚关系推断
将家庭图谱表示为上诉逻辑推断的形式之后,可以把输入看做三元组(例如(x, has-mother, y))。直觉传统的做逻辑推断的方法是使用符号规则,例如指定规则:
这样的缺点是需要人工设定,穷尽可能。
希望可以使用神经网络学习到如何做逻辑推断,设计网络结构如下:
输入三元组的前两个元素,输出第三个元素,可以用于质询,例如:问colin的father是,输出james。
对于元素的输入,使用one-hot方式表示,优势是不引入先验(如果使用二进制密集表示,那么会存在某两个点在空间上比其他点近),易于分析。
元素输入之后分别使用一个编码器对其进行编码,这个编码过程可以加入一些限制,传统的方式是使得维度减少,强制性使得信息压缩,保留有用信息。
元素输出同样是one-hot格式的,输出每个类别的可能性,通常是softmax。同样的,输出之前使用解码器解码,即对所有元素融合过程中是以编解码后的隐层表示进行交互。
中间层学习预测逻辑推理的功能,同时也兼具协调两个编码器和一个解码器的功能,使得三者的隐层表示互相之间是有意义的。
对学习到的编码器进行分析
上图展示了将输入24维编码到6维隐层表示的编码器权重,图中存在6个灰色的大框,分别表示六个隐层神经元,每个神经元内上下两行分别表示两个家族,每个黑白矩形表示对应家族成员到相应神经元的输入权重,白色为正数,黑色为负数。因为两个家族结构一样,所以只使用一个家族的名称表示,另一个家族的名称省略。
首先观察右上方神经元,清晰可见的一行白矩形,一行黑矩形,可见这个矩形用于区分两个家族。同一个家族的输入,只会对应于同一个家族的输出,学习到家族分类是很有必要的。
继续观察其下方的神经元,可以看到其随辈分的增加,值在变大。(Andrew对应于白色大矩形,而colin是黑色大矩形,james的绝对值相对较小)
验证性能
这部分就是很toy的了,留下四个测试,其他的训练,查看结果:
[原文链接]:https://blog.csdn.net/silent56_th/article/details/77747426