概述
Attention，注意力机制在提出之时就引起了众多关注，就像我们人类对某些重要信息更加看重一样，Attention可以对信息进行权重的分配，最后进行带权求和，因此Attention方法可解释性强，效果更好，。本文主要讲解论文Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification中提出的BiLSTM+Attention模型，下面我们将详细的讲解这个模型。
模型架构
BiLSTM+Attention模型的网络架构如下图所示：
从图中可以看出，相对于以前的文本分类中的BiLSTM模型，BiLSTM+Attention模型的主要区别是在BiLSTM层之后，全连接softmax分类层之前接入了一个叫做Attention Layer的结构，