花了2天学习 meta learning代码,记录一下。
MAML学习一个好的初始化权重,从而在新任务上实现fast adaptation,即在小规模的训练样本上迅速收敛并完成fine-tune。
因此基于MAML的模型首先基于多个任务样本学习好的初始化权重。 第二阶段, 针对特定场景做 fine-tune,部分参数如embedding可以固定。核心思想是,每次参数更新使得它在后续新任务中做fine-tune是有效果的。
资料
- paper https://arxiv.org/pdf/1703.03400.pdf
- 参考 https://zhuanlan.zhihu.com/p/57864886
- 以上面提到的代码 https://github.com/cbfinn/maml/blob/master/maml.py