meta-learning 和 few-shot learning

meta-learning

machine learning:由给定的learning algorithm f 和D_train学得函数f*,f*能完成当前任务

meta-learning:学一个函数F,F能找到适用于当前任务的learning algorithm f,再由f和D_train学得函数f*,f*能完成当前任务

meta-learning 和 few-shot learning

machine learning的目标是学得f*,meta-learning的目标是学得F

为什么F能找到 适用于当前任务的learning algorithm f ?因为它通过学习之前个若干个machine learning任务,学会了一些learning skills,有了这些learning skills,就能很快找到新任务上(也就是当前任务)的learning algorithm

meta-learning 和 few-shot learning

few-shot learning

large-scale training set, few-shot support set, one query:

meta-learning 和 few-shot learning

在large-scale的training set上训练一个Siamese network,得到一个feature extractor f

n-way k-shot的support set(few-shot,指k很小,比如k=1)中的n个类别没有在training set中出现过,想要知道query sample属于support set中的哪一类 

将query sample和support set中的各类样本进行对比,对比的方式为:计算support set中各类的feature vector和query sample的feature vector的余弦相似度:

meta-learning 和 few-shot learning

meta-learning 和 few-shot learning

当然这样效果可能还不太好,因为feature extractor从未见过support set中的这些类,所以可以用support set中的少量样本来fine tune一个softmax分类器:

meta-learning 和 few-shot learning

softmax分类器中的权重初始化为M

meta-learning 和 few-shot learning

训练出softmax分类器的W和b后,最后query sample的预测为:

meta-learning 和 few-shot learning

meta-learning和few-shot learning的关系:

meta-learning 和 few-shot learning

 比如上面的few-shot learning的例子,是有了large-scale training set上进行图片相似度判断(相当于之前任务)的经验,要在新的类别上判断query sample所属类别(相当于新任务),即使新类每类只有少量support样本也能迅速学会如何判断新类类别

参考:

【Meta Learning学习笔记】Meta Learning详解_a312863063的博客-CSDN博客

Few-shot Learning 小白入门笔记 - 知乎 

求问meta-learning和few-shot learning的关系是什么? - 知乎 

上一篇:融云 iOS 常见问题总汇


下一篇:Qualcomm tdscdma-b39功率过高