论文地址:https://arxiv.org/abs/1705.07115
code:https://github.com/yaringal/multi-task-learning-example
摘要:讲了多任务的好处,多任务的性能很依赖每个单任务loss的权重。网格搜索很耗资源,本文提出了一个方法,在训练过程利用每个任务的同方差不确定性(homoscedastic uncertainty of each task)来确定loss-weight。本文实验的任务:深度估计,语义分割,实例分割。
介绍:优化每个任务的权重,依赖于每个任务的尺度(loss尺度?)和任务的噪声?
本文的贡献点
- 提出一种新颖而根据规则的多任务损失,可以利用不同任务的同方差不确定性来同时学习具有不同量级的分类和回归loss。
- 搞了一个统一的框架,来实现语义分割,实例分割和深度估计。
- 发现了loss weight在多任务训练中的重要性,以及在多任务训练中,怎么做才能获得和单任务相当的性能。