TreeLSTM Sentiment Classification

实验室周日讨论班讲的是TreeLSTM Sentiment Classification,主讲人:王铭涛

本人来做一下总结。

下面的图片来自于 王铭涛的ppt

 

导读

我们一步一步来。先说最基础的RNN结构:

TreeLSTM Sentiment Classification

公式为:

TreeLSTM Sentiment Classification

就一个简单的隐层h。

但是RNN的缺点是会有梯度爆炸或者梯度消失问题。这里我就不详细解释了。下面推荐阅读有我之前的RNN,LSTM详细讲解,想更深一步了解的可以去看看。

因为这个致命的问题,有人提出了LSTM网络,改善了RNN的缺点,我们来回顾下:

TreeLSTM Sentiment Classification

重新添加了输入门i,输出门o,遗忘门f和记忆单元C,外加之前的一个隐层h(此h非RNN的h,公式可见区别,但都是隐层)。

TreeLSTM Sentiment Classification

这种普通的LSTM都是解决线性问题的。例如常用的应用之句子分类:

        每个词在随着时间序列的增加而不断地依次进入LSTM网络。

这种方法有明显的局限性:当前词的输入需要依赖前一步词的输入。但是如果我当前词要进行运算,而此时前一步词还没有进行计算可怎么办?比如下面的基于依存树的情感分类。

 

TreeLSTM

比如,这是一棵依存树的抽象表达(如果暂时不知道依存树的就把这个当成一棵树):

TreeLSTM Sentiment Classification

空白方框就LSTM的一个单元。文本序列为x1,x2,x4,x5,x6。(x3ppt中少画了,谅解)

x是输入的序列,y是每个x输入后经过LSTM一个时间片段的预测输出。我们可以看出(y5你们能看出是哪个),y4的产生依靠于x4的输入,y5的产生依靠于x5的输入,y6的产生依靠于x6的输入;y3产生需要依赖于y4,y5,y6的输入,y2的产生依靠于x2的输入;y1的产生依靠于y2,x1,y3的输入。这个显然就不能用到普通LSTM了。这时候TreeLSTM就登场上了历史舞台,开始绽放放光彩!

既然TreeLSTM和普通LSTM不一样了,那么咱们怎么计算他们呢?

虽说不一样,其实也是有相同的地方。比如普通LSTM当前时间段需要的输入是在执行在本时间段以前就产生了。这样就能一个接一个的运行下去。

TreeLSTM也一样,我们看图:

我们先找y2,y4,y5,y6的产生依赖于的x2,x4,x5,x6都已经存在,那么我们就能通过x2,x4,x5,x6分别过自己的隐层,得到对应的y2,y4,y5,y6;类似的,y2,y3也能相继产生;接着最终的y1也产生了。

 

计算逻辑

那这样的到底怎么个呢?暂时我知道的有两种方法

前提:

       如果当前节点的孩子节点有了值(就是有了y),那么我们就将该孩子节点与当前节点的度去掉。

方法一

       当前节点入度为0的时候,也就是计算它的所有准备条件都有了的时候,就能对它进行计算了。

所以,这个方法总结就是入度为0的节点都可以计算,然后更新每个节点的入度,再重复该操作。

方法二

       层次遍历。最下面的从最下面的开始计算,最下面的肯定是可以直接计算的。然后刷新,再计算。

这两种方法在自己以后优化batch的时候很有用的。

 

具体TreeLSTM计算分析

我们找具体找一个分析:

TreeLSTM Sentiment Classification

y1的产生依靠于y2,x1,y3的输入。那具体怎么计算的呢?

这里有张计算图,请看:

TreeLSTM Sentiment Classification

其中h为LSTM的隐层,c为LSTM的记忆单元。

公式为(在普通LSTM上稍微修改了下):

TreeLSTM Sentiment Classification

根据公式,我们来梳理下上面计算图:

h2,h3求和再与x1进行

TreeLSTM Sentiment Classification

得到u1。

c2,f2与c3,f3分别按位相乘再求和,再加上u1,i1按位相乘,最后两个和相加即可,得到c1。(i1怎么算,公式里有。)

最后通过该公式

TreeLSTM Sentiment Classification

得到隐层h1。

 

计算loss

每个隐层y都要经过一个线性层,映射到具体的类别上,就是每个x对应一个类别,公式为:

TreeLSTM Sentiment Classification

最终的损失函数为:

TreeLSTM Sentiment Classification

这个损失函数用的是交叉熵,最后是一个正则化。我之前也讲过,想了解可以查阅前面的文章。


更多精彩内容,请关注 深度学习自然语言处理 公众号,就是下方啦!跟随小博主,每天进步一丢丢!哈哈!

TreeLSTM Sentiment Classification

上一篇:自然语言处理概述(前沿、数据集、下游任务)


下一篇:2.java基础_2