这篇大概写于好几个月之前，最近又很多东西要重新开始，于是重新写起笔记

这是写给我自己看的笔记，所以你看看不明白是很正常的，但我并不觉得完全没有参考价值，毕竟之前看的trans介绍，要么只有encoder，要么没有训练过程。

transformer 全总结

整体架构 en-de

Here, the encoder maps an input sequence of symbol representations (