1 前言
2017年Google提出Transformer模型。过去了四年，想要入门Transformer原本是非常容易的，网上的资源一搜一大堆，但是大同小异，或者说没说到的地方都没说到，初学者看了之后除非悟性极好，否则还是不能理解(比如我)。所以我想尽量详细地叙述这个模型，综合网上各种贴子，可能你会有熟悉感。
修完大学公共数学基础三部曲即可。
2 总体概述
首先祭出这张最经典的论文图。
总体上Transformer模型使用的是 解码器-译码器 的模式，即encoder-decoder。直观上讲，
就是一个输入，被输入到encoder模块当中，encoder模块输出一个中间产物，中间产物被decoder使用(应该是反复使用)，结合decoder本身的输入，经过一系列运算，输出结果(中间结果)。
理解上可以当做一个阅卷过程。encoder是试题组，综合考卷试题，给出一个给分细则，decoder像批卷老师，decoder输入是一份未批阅试卷，老师一手拿着给分细则打分，打分收到你之前题目作答情况，比如之前老师觉得给分太低，这时候有可能补偿式打分，最后将整分卷子批完。当然，给分一定合理吗？并不是。
这是个大概理解，接下来才是重点。
3. 各模块分析
Encoder
1. input embedding (输入嵌入)
以翻译为例。我要翻译一句话：I am a man.
我们中间是要对其进行数学运算，显然字符不合适，需要转化成数字。比如 数字1表示 I ，数字2表示 am，数字3表示 a , 数字4表示 man。只不过这是最朴素的想法，事实上一个句子中的每个单词，都有个词向量去表示，例如 man 可以表示成
V
e
t
c
o
r
(
m
a
n
)
=
[
0
,
0
,
0
,
1
]
Vetcor(man) = [0,0,0,1]
Vetcor(man)=[0,0,0,1]
这个叫做
o
n
e
−
h
o
t
one-hot
one−hot编码方式，最简单的一种，直接“看式思义“。但是这个词向量长度维数非常高（不应该叫”长度“, “大小”感觉还可以），存储开销比较大，于是利用某些技术，降低维度，
V
e
c
t
o
r
′
(
m
a
n
)
=
[
x
1
,
x
2
,
x
3
]
Vector'(man) = [x_1,x_2,x_3]
Vector′(man)=[x1,x2,x3]
某些技术指词嵌入技术，比如
W
o
r
d
2
V
e
c
Word2Vec
Word2Vec, 可以在本站搜索，没搜索到应该是我还没写。 = =
转化成向量，很多计算就更加方便了，可以牵扯到矩阵的运算。向量->矩阵。
| 0 | 1 | 2 | 3 | 4 | |
|---|---|---|---|---|---|
| I | x ( 0 , 0 ) x_{(0,0)} x(0,0) | x ( 0 , 1 ) x_{(0,1)} x(0,1) | x ( 0 , 2 ) x_{(0,2)} x(0,2) | x ( 0 , 3 ) x_{(0,3)} x(0,3) | x ( 0 , 4 ) x_{(0,4)} x(0,4) |
| am | x ( 1 , 0 ) x_{(1,0)} x(1,0) | x ( 1 , 1 ) x_{(1,1)} x(1,1) | x ( 1 , 2 ) x_{(1,2)} x(1,2) | x ( 1 , 3 ) x_{(1,3)} x(1,3) | x ( 1 , 4 ) x_{(1,4)} x(1,4) |
| a | x ( 2 , 0 ) x_{(2,0)} x(2,0) | x ( 2 , 1 ) x_{(2,1)} x(2,1) | x ( 2 , 2 ) x_{(2,2)} x(2,2) | x ( 2 , 3 ) x_{(2,3)} x(2,3) | x ( 2 , 4 ) x_{(2,4)} x(2,4) |
| man | x ( 3 , 0 ) x_{(3,0)} x(3,0) | x ( 3 , 1 ) x_{(3,1)} x(3,1) | x ( 3 , 2 ) x_{(3,2)} x(3,2) | x ( 3 , 3 ) x_{(3,3)} x(3,3) | x ( 3 , 4 ) x_{(3,4)} x(3,4) |
这样一个句子就转化成了矩阵，每一行是一个单词的词向量。实际上词向量列数有很多，整个矩阵大小是 s e q u e n c e L e n g t h × d m o d e l sequenceLength\ ×\ d_{model} sequenceLength × dmodel , 而真正的输入 X X X，是很多个这样类似的矩阵，是一个 b a t c h S i z e × s e q u e n c e L e n g t h × d m o d e l batchSize\ ×\ sequenceLength\ ×\ d_{model} batchSize × sequenceLength × dmodel 的张量。
d m o d e l d_{model} dmodel 论文中大小采用512。
b a t c h S i z e batchSize batchSize 一般指同时代入训练模型的实例个数。因为你总不能把所有句子所代表的矩阵全扔进去。
2. position embedding (位置嵌入)
位置信息在翻译当中是重要的。
You do like it. (你确实喜欢它) Do you like it? (你喜欢它吗？) 翻译上存在不同。
position embedding 就是刻画位置信息的编码，类似于词向量。
分为绝对位置编码，三角式，训练式，相对位置编码等等。建议阅读，
https://www.zhihu.com/search?type=content&q=transformer%E4%BD%8D%E7%BD%AE%E7%BC%96%E7%A0%81
论文当中采用三角式，
P E ( p o s , 2 i ) = s i n ( p o s / 1000 0 2 i / d m o d e l ) PE(pos,2i) = sin(pos/10000^{2i/d_{model}}) PE(pos,2i)=sin(pos/100002i/dmodel)
P E ( p o s , 2 i + 1 ) = c o s ( p o s / 1000 0 2 i / d m o d e l ) PE(pos,2i+1) = cos(pos/10000^{2i/d_{model}}) PE(pos,2i+1)=cos(pos/100002i/dmodel)
p o s pos pos 是单词在句子中的位置， p o s ∈ [ 0 , s e q u e n c e L e n g t h ) pos\in [0,sequenceLength) pos∈[0,sequenceLength) , i ∈ [ 0 , d m o d e l ) i \in [0,d_{model}) i∈[0,dmodel)
而事实上，目前三角式用处比较小，相对位置编码更加重要，见
https://mp.weixin.qq.com/s/vXYJKF9AViKnd0tbuhMWgQ
最后信息添加的方式也非常简单，直接将输入矩阵 X = X + P E ( X ) X = X+PE(X) X=X+PE(X)
3. Multi-Head Attention (多头注意力机制)
这是核心部分。
首先是 Q , K , V Q,K,V Q,K,V。
我们在之前得到了处理过的
X
X
X了，我们需要用
X
X
X得到
Q
,
K
,
V
Q,K,V
Q,K,V. 转化如下（图中三个Linear部分)
Q
=
X
W
Q
,
K
=
X
W
K
,
V
=
X
W
V
Q = XW_Q,K = XW_K,V = XW_V
Q=XWQ,K=XWK,V=XWV
W i ∈ R d m o d e l × d m o d e l , i = Q , K , V W_i\in{\R^{d_{model}×{d_{model}}}},i={Q,K,V} Wi∈Rdmodel×dmodel,i=Q,K,V
W i W_i Wi 一般情况下，最初可以是个 d m o d e l × d m o d e l d_{model}×d_{model} dmodel×dmodel 的随机矩阵，要“学习”的内容也正是它，因此他的初值可以是随机的。那为什么要转化成三个不同矩阵呢？原因是为了将输入矩阵映射到不同的子空间，增强了表达能力，提高了泛化能力。
下面我们先看不进行分头处理的注意力机制，就是解释下述公式。
A
t
t
e
n
t
i
o
n
(
Q
,
K
,
V
)
=
s
o
f
t
m
a
x
(
Q
K
T
d
k
)
V
Attention(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_k}})V
Attention(Q,K,V)=softmax(dk
QKT)V
我们先看 Q K T QK^T QKT 是什么。
在这里插入图片描述
Q K T QK^T QKT 是一个 d m o d e l × d m o d e l d_{model}×d_{model} dmodel×dmodel 的注意力矩阵，每一个元素 ( Q K T ) i j (QK^T)_{ij} (QKT)ij 表示第 i i i 个词和第 j j j 个词的相联程度，而这种相联程度使用对应词向量的点积进行描述。
比如向量 e 1 , e 2 e_1,e_2 e1,e2 相似程度，我们可以用点积量描述，如图
e 1 ⃗ ⋅ e 2 ⃗ = ∣ e 1 ⃗ ∣ ∣ e 2 ⃗ ∣ c o s < e 1 ⃗ , e 2 ⃗ > = c o s < e 1 ⃗ , e 2 ⃗ > \vec{e_1}·\vec{e_2} = |\vec{e_1}||\vec{e_2}|cos<\vec{e_1},\vec{e_2}> = cos<\vec{e_1},\vec{e_2}> e1 ⋅e2 =∣e1 ∣∣e2 ∣cos<e1 ,e2 >=cos<e1 ,e2 >
在向量运算当中， e 1 e_1 e1 比 e 2 e_2 e2 和 e e e 的相似程度更高。
那么为什么要除以 d k \sqrt{d_k} dk ？作用是把注意力矩阵变成标准正态分布，使得 s o f t m a x softmax softmax 结果更加稳定。
那 s o f t m a x ( x ) softmax(x) softmax(x) 是个怎样的函数呢？
Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量 “压缩”到另一个K维实向量 中，使得每一个元素的范围都在之间，并且所有元素的和为1。 ——百度百科
s o f t m a x ( x i ) = e x i ∑ j = 1 N e x j , i = 1 , 2 , . . . , N softmax(x_i) = \frac{e^{x_i}}{\sum^N_{j=1}e^{x_j}} , i=1,2,...,N softmax(xi)=∑j=1Nexjexi,i=1,2,...,N
例如， x = [ 1 , 2 , 3 ] x = [1,2,3] x=[1,2,3] , s o f t m a x ( x ) = [ 0.09003 , 0.24473 , 0.66524 ] softmax(x) = [0.09003,0.24473,0.66524] softmax(x)=[0.09003,0.24473,0.66524]
可以发现 s o f t m a x softmax softmax 函数将向量元素之和归一化到1，并且“放大”了元素之间的差值。
不过存在的问题就是指数运算过后，可能有上溢/下溢，解决方法就是对其进行变式。
经过这一系列处理，得到一个注意力矩阵，可以看作一个评分机制，或者是权值矩阵。我们再乘以 V V V ，本质上是对 V V V 做一次求加权均值的过程。这样整个 A t t e n t i o n ( Q , K , V ) Attention(Q,K,V) Attention(Q,K,V) 就获得了句子整体的信息。
最后我们来解释多头的含义。
所谓多头，就是指将矩阵均分成 h h h 组，每一组分别做注意力计算，最后我们再将他们连接到一起，再做一个线性变换，得到注意力层输出。需要注意的是 h h h 需要能整除 d m o d e l d_{model} dmodel 。
(论文中 h h h 取8)
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hsqghzPS-1644115648285)(Transformer学习/ai-1-6.png)]
我们说注意力机制是一种词和词之间的关系，一个词在每个头更“关注”的部分不同，使用多个头可以反映这种不同的关注，接合起来使得矩阵蕴含更复杂的信息。
4. Add&Norm (残差连接与归一化)
A d d Add Add 过程是一个残差连接的过程，做的事情就是 O u t p u t A t t e n t i o n = O u t p u t A t t e n t i o n + X Output_{Attention} = Output_{Attention} + X OutputAttention=OutputAttention+X 。这一处理主要目的是防止梯度消失。
N o r m Norm Norm 过程是一个归一化的过程，主要目的是将矩阵按行化为标准正态分布，加快收敛过程，加快训练速度。
5. Feed Forward (前馈神经网络)
F e e d b a c k ( X ) = W 1 T ( R e L u ( W 2 T X + b 2 ) ) + b 1 Feedback(X) = W_1^T(ReLu(W_2^TX+b_2))+b_1 Feedback(X)=W1T(ReLu(W2TX+b2))+b1
前馈神经网络主要作用是提供非线性转换，增强模型泛化能力。非线性部分指的是
R
e
L
u
ReLu
ReLu 函数，常见的一种激活函数。
R
e
L
u
(
x
)
=
m
a
x
{
0
,
x
}
ReLu(x) = max\{0,x\}
ReLu(x)=max{0,x}
Decoder
6. Outputs (解码器输入)
解码器也是有输入的，输入为译码器输入句子的译文。这种译文输入形式类似译码器输入，并不是“翻译”结果，这个 O u t p u t s Outputs Outputs 是我们给定的。但是我们并不能让模型以一个“上帝视角”去学习，如果整个译文信息在翻译时被全部观测到，那“学习”是效果差的。所以需要 m a s k mask mask 技术使得翻译时不能够提前得到词的信息。
7. Masked Multi-Head Attention
m a s k mask mask 分为两种。
其中一种 m a s k mask mask 是一种填充 ( p a d d i n g padding padding) 技术，因为句子长度不一，我们并行处理的张量规模需要一致，因此我们选择其中最长的句子长度作为句子的尺度，空出来的部分（灰色），使用 0 填充。
第二种 m a s k mask mask 只在 d e c o d e r decoder decoder 中使用，注意蓝色和橙色部分。我们不能利用未来的信息，所以也需要 m a s k mask mask ，所利用的是之前的译文信息。使用 − i n f -inf −inf 填充。
8. Linear && Softmax
L i n e a r Linear Linear 负责将得到的解码器输出映射到一个高维向量，维度取决于词典大小。
S o f t m a x Softmax Softmax 负责将这个向量转化为一个类似概率的输出，这样我们把概率大的词作为翻译后的词汇。
3. 过程
例子 I am a man.
首先我们需要一个词典，记录用到的词。还有开始符(BOS)，结束符(EOS)，也被记录到词典里。
初始时，只有BOS一个符号。我们把句子以张量形式输入到译码器中，注意解码器和译码器并不是只有一个，而是有 N N N 个复制。 T r a n s f o r m e r Transformer Transformer 的特点之一就是方便并行处理，提高效率。通过编码器我们得到一个隐藏层 (中间矩阵)，这时候我们利用这个编码器输出矩阵线性变换为解码器的 K , V K,V K,V 输入，另外解码器还有输入部分就是给出的译文信息变换成的 Q Q Q 。注意到编码器输出是要给到多个 $Decoder $ 的。每次翻译一个词，如下，
BOS -> BOS 我 -> BOS 我 是 -> BOS 我 是 一 … -> BOS 我 是 一 个 男 人 EOS
我们定义损失函数，和真实翻译结果比较，运用反向传播算法，更新权值矩阵。
4. 结语
考虑初学理解有限，有不对的地方欢迎指正，也请详细说说，谢谢！
个人blog： https://fatebai.github.io/
欢迎浏览！
2021/9/1 BRB， a Observer