论文信息:
Nichol A , Achiam J , Schulman J . On First-Order Meta-Learning Algorithms[J]. 2018.
摘要
文章从一个任务分布中抽取许多任务来训练元学习模型,使其可以更快的学习这个分布中未遇到的任务。
仅在元学习更新过程中仅使用一阶微分,就能得到在新任务上实现快速微调的参数初始化。
这里介绍两种算法:扩展FOMAML和Reptile。First-order MAML是一阶MAML,忽略了二阶导数得到MAML的近似值;Reptile从一个任务中重复采样训练,然后将初始化值移动到该任务的训练权重(??)
参考文献:
⭕ 作者博客