确切来说BERT这种预训练模型属于自监督学习，将一句话屏蔽掉一分部分token，输入到模型中。然后让模型预测整句话，让模型学习数据集的上下文关系。
数据没有通过人工标记label，勉强可看成无监督式学习吧。
MLM可看作 加噪自编码
相关文章
- 12-21基于聚类的无监督模型的分类
- 12-21学习笔记CB008:词义消歧、有监督、无监督、语义角色标注、信息检索、TF-IDF、隐含语义索引模型
- 12-21为什么BERT是无监督模型？
- 12-21单层网络模型下对无监督特征学习算法的分析
- 12-21Ian Goodfellow：我最大的失败是用无监督解决计算机视觉的监督学习问题
- 12-21牛叉的无监督语音识别模型
- 12-21redis和memcached有什么区别？redis的线程模型是什么？为什么单线程的redis比多线程的memcached效率要高得多（为什么redis是单线程的但是还可以支撑高并发）？
- 12-21Netty(二) 从线程模型的角度看 Netty 为什么是高性能的？
- 12-21redis和memcached有什么区别？redis的线程模型是什么？为什么单线程的redis比多线程的memcached效率要高得多（为什么redis是单线程的但是还可以支撑高并发）？
- 12-21为什么说Netty是性能之王，因为它用了 Reactor 模型啊