BERT（Bidirectional Encoder Representations from Transformers）是一种由Google提出的预训练语言模型，它基于Transformer架构，通过大规模无监督学习从大量文本数据中学习语言表示。BERT的主要贡献在于引入了双向（bidirectional）的预训练策略，使得模型能够更好地理解上下文和句子之间的关系，从而在各种自然语言处理任务中取得了极好的效果。
BERT的关键特点包括：
- 双向上下文理解： 传统的语言模型（比如基于循环神经网络的模型）在处理序列数据时，只能从左到右或从右到左单向地考虑上下文信息。而BERT引入了Transformer的架构，使得模型能够同时考虑句子中所有位置的上下文信息，从而更好地理解句子中的语义和结构。
- 无监督预训练： BERT采用了大规模无监督学习的方式进行预训练，通过遮挡单词或句子中的一部分内容，让模型学习预测被遮挡部分的内容。这种方式使得BERT可以从海量文本数据中学习通用的语言表示，而无需标注的监督信息。
- 多层表示： BERT模型由多层Transformer编码器组成，每一层都能够提取不同层次的语义表示。这样的设计使得BERT能够在各种自然语言处理任务中灵活地应用，并且在下游任务中进行微调时可以选择不同层次的语言表示。
BERT模型的预训练阶段通常包括两个任务：掩码语言建模（Masked Language Model，MLM）和下一句预测（Next Sentence Prediction，NSP）。在MLM任务中，模型需要根据上下文和部分被遮挡的单词来预测被遮挡的单词是什么；在NSP任务中，模型需要判断两个句子是否是原文中连续的。
预训练完成后，BERT模型可以通过微调（fine-tuning）的方式来适应特定的下游任务，比如文本分类、命名实体识别、句子相似度判断等。由于BERT模型在预训练阶段已经学习到了丰富的语言表示，因此在许多自然语言处理任务中，通过微调BERT模型往往可以获得更好的性能。