transformers较为知名的应用是BERT，Transformers可以看成是seq2seq model，特点在于this model leverages mass “self-attention” layers，seq2seq在What-is-seq2seq篇已经解释过，接下来将对`self-attention`进行描述
    注：本片博客是看李宏毅老师教学视频后的课程笔记

 

一、Sequence

    对一个句子，之前多是使用RNN（Recurrent Neural Network）进行single direction or bidirection 处理，但是RNN的计算不容易并行化，如下图1中所示：

                                    

                                                 图 1 RNN model

      当为单向时，已知b1，b2才可得b2；已知b1，b2，b3才可得b3，也就是说，如果是双向，它需要看完整条sequence。用CNN去解决这个问题时，如下图2所示，图中：

 Step1. 

 

 

 Step2.

 

                                图 2 CNN model

   

filter（橙色三角形，CNN中的概念），filter与step选取的subsequent进行inner product 得出一个数值（橙色圆形表示）,filters in higher layer can consider longer sequence

                        

                                      图 3 CNN model layers

   也就是对于一个长句子，它需要很多层的叠加，才能看完整个句子，有点耗时耗力。

 

二、self-attention

    基于上述的研究过程及其问题，self-attention目的做到rnn做到的，所以self-attention layer 的output和input和rnn是一样的输入一个sequence，输出another sequence，首次在`https://arxiv.org/abs/1706.03762`中提出的。

                                        图 4 self-attention（a）

 

 

Step1. 每个query q 去对每个key k 做attention （attention的作用是对所输入的向量计算其相似度，output a score )

这里使用 Scaled Dot-Product Attention :$ a_{1,i}= \frac{q^1*k^i}{\sqrt{d}}$ ，其中d是和q,k的dimension。

 

Step2. soft-max 

                                      图 5 self-attention（b）

其中，$ \hat{a}_{1,i}= \frac{exp(a_{1,i})}{\sum_{j}exp(a_{1,j})}$

 Step3. key k 

 

                                     图 6 self-attention（c）

    其中，$$ b^{1}=\sum_{i}\hat{a}_{1,i}v^i $$，$b^1$considers the whole sequence，$v^i$的值是由$a^i$transformation而来，如果要考虑某个$a^i$，只需调整$ \hat{a}_{1,i} $
同理，并行计算$b^{2}$，$b^{3}$，$b^{4}$,...,$b^{n}$同样平行计算

                                        图 7 平行化计算（a）

    可能上述中平行化还不是很明显，以下面形式表达更为明了

 

 

 

                           图 8 平行化计算（b）

    那么整个self attention过程就可以简化为（GPU可以加速矩阵乘法）：

                                                 图 9 平行化计算（c）

三、Multi-head self-attention

    self attention的变形--Multi-head self attention，以2 heads 为例
                       

 

 

 

                                                图 10 Multi-head

    $W^{0}$在降维中使用，因为$b^{i,1}$和$b^{i,2}$的连接

 

四、Positional Encoding

    在self attention中，么有位置信息，原始paper中是手动s设置position information $e^i$ 

                                                 

                                                       图 11 位置信息（a）

    这里关于“+”，可以理解成，在each $x^i$ 后appends a one-hot vector $p^i$，$p^i$中记录了位置信息

 

                                                   图 12 位置信息（b）

    $W^p$为公式计算所得，它的含义如下所示，图意不理解

                                                       

 

五、Seq2seq with Attention

    一般的Seq2seq model是用RNN做的，如果结合attention则是这样的效果，[google提供了可视化效果展示](https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html
)

 

六、transformers 架构图

                                   

    这个图实际为Seq2seq model，以中译英为例（机器学习--> machine learning），对这个图更为详细的解释便是：

                                       

    `Add & Norm` 意为将raw input和产生的input加起来，然后做Norm。Norm有Layer Norm（https://arxiv.org/abs/1607.06450）和Batch Norm（https://www.youtube.com/watch?v=BZh1ltr5Rkg），至于其中的Masked是只attend on the generated sequence，以最近的timestep和已翻译出来的最为下一次词翻译的参考依照。