位置嵌入的含义

位置嵌入不仅仅是反应了时间序列信息，而且从直观上来看，将位置嵌入和其转置做点积，其结果如下。

即距离较近的字之间的相关性要大于距离较远字。所以其建立了时间维度上 的关联性。

语言模型的定义和BERT如何预训练语言模型

1. 语言模型定义：什么是语言模型, 其实用一个公式就可以表示