seq2seq的模型很多，输入一排向量，输出一排向量，可以使用self-attention，rnn，cnn，而transformer使用的就是self-attention
transformer结构
- residual
- norm （Layer Norm）
相关文章
- 02-05详解Swin Transformer核心实现，经典模型也能快速调优
- 02-05transformer 全总结
- 02-05神经翻译笔记7. Transformer
- 02-05[转] Transformer中warm-up和LayerNorm的重要性探究
- 02-05Transoformer再下一城之VSR-Transformer
- 02-05Transformer、多头自注意力机制论文笔记：Attention is all you need
- 02-05Transformer 论文：Attention Is All You Need
- 02-05DGL官方教程--Transformer tutorial
- 02-05UVA12003 Array Transformer(数组分块)
- 02-05Column Transformer with Mixed Types -- of sklearn