11.18 基于任务层次结构的多任务学习方法

上一节介绍了一种不受聚类数目约束的任务聚类方法，然而当数据中任务间的关系更为复杂时，基于任务聚类的多任务模型已经不能准确学习任务间的这种关系。仍然以图 2(a) 中的交通问题为例，从更全面的角度来看，图 2(a) 中的聚类模式并不能准确地刻画任务间的关联关系，因为不同的聚类之间仍然存在着联系。事实上，当放宽聚类条件时，可以发现不同程度下的聚类模式。图 2(b) 给出了不同程度下路网节点的聚类模式。红色圆圈的聚类模式与图 2(a) 相同，为第一层聚类模式；蓝色圆圈的聚类粒度要大于红色圆圈，表现为第二层聚类模式；紫色圆圈为最大粒度的聚类模式，即所有节点都在同一聚类中。图 2(b) 所蕴含的信息表明，网络节点间的关系存在着层次结构。因此，本节将针对任务间更为复杂的结构，提出一种基于任务层次结构的多任务学习 (Task-Hierarchy basedMulti-Task Learning，THMTL ) 方法。该方法假设任务间存在多层次的结构，每一层中任务具有不同的聚类模式，提高了多任务模型对任务关系的表达能力。为了学习任务间的层次结构，将模型的参数矩阵 W 拆分为多个子矩阵。假设任务间的层次结构的层数为 H，对 W 进行分解： 。其中
，为第 h 层对应的子矩阵，d 为特征数，w h,i 为第 h 层第 i 个任务所对应的列向量。图 2(c) 给出了当 H = 3 时，THMTL 模型中任务层次结构及参数矩阵的示例。THMTL 的目标函数定义如下：(2)其中 λ 1 , λ 2 ,···, λ H 为针对不同任务层次的规则项系数。式 (2) 中的第一项为损伤函数 ; 用 Ω(W) 表示式
中的第二项，可以看出 Ω(W) 为式 (1) 中聚类规则项的推广，它是每一层参数子矩阵的聚类规则项的和。类似的，λ h 控制了第 h 层任务聚类的强度。因此，通过对不同的任务层次选择不同的规则项系数 λ h 可以实现不同层次的任务聚类模式。对任意 h ≥ 2 设置 λ h =λ h-1 /∅，其中 ∅>1 为控制相邻层次间聚类强度差别的常数，这样便实现了由粗粒度至细粒度逐步变化的任务层次聚类模式。与CRMTL 模型类似，Ω(W) 是关于 W 的非光滑凸函数。当层数 H= 1 时，可以看出 THMTL 模型将蜕变为 CRMTL 模型。此外，式 (1) 和 (2) 中的 SquareLoss 可以扩展为其他代价函数，例如分类问题中的Hinge Loss。由于 Ω(W) 为 CRMTL 模型中聚类规则项的扩展，因此具有相同的优化特点。然而，由于Ω(W) 为多个聚类规则项的和，因此求解式 (2) 更为困难。本文介绍了一种高效的求解 THMTL 模型的算法[6] 。