多任务学习——【RecSys 2020】【腾讯视频】PLE

当不同的学习任务之间较为相关时,多任务学习可以通过任务之间的信息共享,来提升学习的效率。但任务之间的相关性并不强,多任务学习可能带来负迁移(negative transfer)跷跷板现象,相关性不强的任务之间的信息共享会影响网络的表现。
多任务学习——【RecSys 2020】【腾讯视频】PLE
腾讯视频提出CGC,其实就是在MMOE(参阅:《多任务学习——【KDD 2018】MMoE》)的基础上加上Customized Sharing:

多任务学习——【RecSys 2020】【腾讯视频】PLE
每个任务除了有共享的Experts,还有独有的Experts,这样就很好的降低了相关性不强的任务之间的信息共享带来的问题。如第k个任务的控制门公式为:
多任务学习——【RecSys 2020】【腾讯视频】PLE
多任务学习——【RecSys 2020】【腾讯视频】PLE
多任务学习——【RecSys 2020】【腾讯视频】PLE
S k ( x ) S^k(x) Sk(x)则是第k个任务的Experts的输出,包含了 Experts k和Experts Shared。

PLE就是多层的CGC。多层堆叠共享的Experts也是基于同样的控制门机制往后输出:
多任务学习——【RecSys 2020】【腾讯视频】PLE

上一篇:vue v-for list数据循环 每3或者(n)个一组


下一篇:adobe acrobat dc文档级javascript