本文是对B站视频“transformer从零详细解读”的笔记，视频：https://www.bilibili.com/video/BV1Di4y1c7Zm?p=1
一、概述
TRM在做一个什么事情？
transformer包含encoder和decoder
encoder和decoder分别有六个
原论文中transformer模型结构
encoder包含以下三个部分:
二、位置编码
encoder输入部分：
1. Embedding
2. 位置嵌入
为什么需要？
位置编码公式
将词向量和位置编码相加作为模型的输入
引申一下为什么位置嵌入会有用
但是这种相对位置信息会在注意力机制那里消失
三、多头注意力机制
1. 注意力机制
1.1 基本的注意力机制
经典的注意力机制的图，颜色深的表示很受关注，浅的表示不怎么受关注。
1.2 在TRM中怎么操作
原论文中注意力机制的计算公式：
从公式角度来看：拿上面的图片举例子
两个向量越相似，点乘结果越大。
再举个栗子