3.6 多任务学习方法

2024-03-18 09:09:22

人工智能之强化学习

这一节是第三部分的最后两个方法-多任务学习和元学习。

3.6 多任务学习

除特质特征等位基因外，治疗组和对照组始终具有一些共同的特征。自然，因果推理可以被概念化为一个多任务学习问题，其中一组用于治疗组和对照组的共享层在一起，而一组分别用于治疗组和对照组的特定层。

多任务学习问题中选择偏差的影响可以通过倾向-辍学正则化方案来缓解，该方案通过依赖于相关倾向评分的辍学概率对每个训练示例进行细化。如果受试者的特征在治疗组和对照组的特征空间中属于较差的重叠区域，那么退出概率更高。

贝叶斯方法也可以扩展到多任务模型下。

非参数贝叶斯方法使用具有线性共区域化内核的多任务高斯过程作为矢量值再现内核Hilbert空间的先验。贝叶斯方法允许通过逐点可信区间来计算我们对估计值的置信度，这对于实现精确医学的全部潜力至关重要。

采用基于风险的经验贝叶斯方法对多任务GP先验进行调整，从而减少选择偏差的影响，使事实结果中的经验误差和反事实结果中的不确定性最小化。

即使在每个处理中具有连续参数，也可以将多任务模型扩展到多种处理。具有共享基础层，NW中间治疗层和NW×E的剂量响应网络（DRNet）体系结构用于具有相关剂量参数s的多重治疗设置。

共享的基础层在所有样本上进行训练，而处理层仅在其各自处理类别的样本上进行训练。每个处理层进一步细分为E头层。每个头层都分配有一个剂量层，该剂量层将潜在剂量范围[at，bt]细分为等宽的E个分区。

3.7元学习方法

在设计异构处理效果估计算法时，应考虑两个关键因素：

1）控制混杂因素，即消除混杂因素与结果之间的虚假关联；
2）给出CATE估计的准确表达。上一节中提到的方法试图同时满足这两个要求，而基于元学习的算法将它们分为两个步骤。

通常，基于元学习的算法具有以下过程：

（1）估计条件平均结果E [Y | X = x]，此步骤中学习的预测模型是基础学习者。
（2）根据从步骤（1）获得的结果之差推导CATE估计量。现有的元学习方法包括以下介绍的T-learner、S-learner、X-learner、U-learner和R-learner。

详细地讲，T-learner 采用两棵树来估计条件治疗/控制结果，分别表示为µ0（x）= E[Y（0）| X = x]和µ1（x）= E[ Y（1）| X = x]。令μˆ0（x）和μˆ0（x）表示对照组/治疗组的训练树模型。然后获得T-learner估计的CATE为：τˆT（x）= µˆ1（x）− µˆ0（x）。

T-learner为控制组和治疗组训练了两个基本模型（名称“ T”来自两个基本模型），而S-learner 将治疗分配视为一个特征并估计组合结果为：µ（x， w）= E [YF |X = x，W = w]（名称“ S”表示单一）。µ（x，w）可以是任何基数模型，我们将训练后的模型表示为µˆ（x，w）。然后，由S-learner提供的CATE估计器为：τˆS（x）=µˆ（x，1）-µˆ（x，0）。

但是，T-learner和S-learner高度依赖于经过训练的基本模型的性能。

当两组中的单位数量极不平衡时（即一组的数量比另一组的数量大得多），在小组训练的基本模型的性能将很差。为了克服这个问题，提出了X-learner，它采用了对照组的信息来对治疗组进行更好的估计，反之亦然。

跨组信息的使用是X-learner的来源，X表示“跨组”。详细而言，X-learner包含三个关键步骤。

X-learner的第一步与T-learner相同，训练有素的基础学习者表示为µˆ0（x）和µˆ1（x）。
在第二步中，X-learner计算观察到的结果与估计的结果之间的差异，作为推算的治疗效果：在对照组中，差异是估计的治疗结果减去观察到的对照结果，表示为：DˆCi = µˆ1（x）-YF; 同样，在治疗组中，差异表示为：DˆTi = YF − µˆ0（x）。

经过差异计算后，将数据集转换为两组，计算出治疗效果：对照组：（XC，DˆC）和处理组：（XT，DˆT）。在两个估算的数据集上，以XC（XT）作为输入并以DˆC（DˆT）作为输出训练了两个治疗效果的基本学习者τ1（x）（τ0（x））。
最后一步是将两个CATE估计量通过加权平均组合：，其中为取值范围的加权函数从0到1。

总体而言，借助交叉信息的使用以及两个CATE基本估计量的加权组合，X学习者可以处理两组中单位数量不平衡的情况。