【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

2024-01-22 17:24:59

文章目录

3_BERT的奇闻轶事

Why does BERT work？

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

To Learn More

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

Multi-lingual BERT（多语言BERT）

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

BERT有跨语言的功能？前提是资料量要够多才能train起来…，过了两天loss掉下去了

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

BERT还有很多不被理解的，说明可以探究的空间很大

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

4_GPT的野望

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

20分钟就可以微调作业7了，但GPT实在太过巨大了，train一个epoch可能都有困难

How to use GPT？

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

Self-supervise Learning还有更多的领域应用，不止在翻译，还有CV

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

你也可以做语音版的GPT

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

语音版的 基准集，10个不同的任务

【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）

Self-supervise Learning在语音上，在图像上还有非常大的空间可以应用，加油！

上一篇：【机器学习｜数学基础】Mathematics for Machine Learning系列之矩阵理论（25）：幂级数（补充知识）


下一篇：《word2vec Parameter Learning Explained》论文笔记