一. 19-nips-Transferable Normalization: Towards ImprovingTransferability of Deep Neural Networks
摘要
Pre-training的transferability在无监督的域适应情况下是很弱的。很少工作研究深度网络的内部结构对于可迁移性的影响。本文提出了Transferable Normalization来使得DNNs在跨域之间更具有可迁移性。
介绍
本文揭示BN是网络的可迁移性的限制。Batch Normalization对于平滑损失场景俩加快训练和提高模型性能至关重要，BN与域适应相匹配。但是，在cross-domain场景下，BN的设计对于DNN的可迁移性不是最优的。这时，跨域的均值和方差的暴力共享可能会扭曲特征分布，从而恶化网络的可迁移性。
方法
Domain specific mean and variance. 相较于传统的BN将source和target组合再进行归一化，TransNorm首先分别计算每一个通道的域特定均值和方差，然后在每一层对每个域的输入独立归一化（相较于AdaBN，考虑了source和target的统计信息）
Domain sharing gamma and beta.