目录
论文链接：Interspecies Knowledge Transfer for Facial Keypoint Detection
代码 : https://github.com/ menoRashid/animal_human_kp
论文作者及机构：
摘要:
我们提出了一种通过转换人脸面部信息从而定位动物面部特征关键点的方法。与其说是，直接训练网络将人脸关键点finetune到动物面部关键点（这种方法次优化，因为人脸和动物脸部看起来十分不同)， 我们建议通过修改动物和人脸形状的不同，从而使动物图像适应人脸检测预训练模型。首先我们通过使用无监督形状匹配方法为每张输入的动物图像找到最相近的人脸图像。我们使用这些匹配项训练一个 warp网络用来warp每一张输入的动物面部使其更像人脸 。这个wrap网络然后和一个预训练后的人脸关键点检测网络用动物数据进行联合finetune。 我们展示了马和羊脸关键点检测的最新结果，与简单的微调相比具有明显改善，尤其是在训练数据稀缺时。此外，我们提出了一个新的数据集具有3717具有马脸图像和面部关键点标注。
1. Introduction
面部关键点检测是面部对齐及注册重要的先决条件，并且对脸部表情分析，人脸跟踪，以及操控及转换人脸图形方法有一定的影响。尽管人脸关键点检测是个比较成熟的研究领域，但动物脸部关键点检测却是一个相对尚未探索的领域。例如，兽医研究表明马、老鼠、羊、和猫在面对疼痛时有不同的面部表情（面部关键点检测通常可以帮助检测动物疼痛）。在本文中，我们主要做马和羊的面部关键点检测。 卷积神经网络（cnn）在人脸关键点检测领域具有很好的表现，因此cnn也是动物关键点检测的一个很好的选择。不幸的是，从头训练一个神经网络需要大量的标注数据，费时又费钱。此外，当训练数据不足时，cnn可以采用finetune的方式。预训练的网络的泛化能力受到可用于微调的数据量以及两项任务之间的相关性的限制。例如，先前的工作表明在man-made对象上训练的网络具有有限的适应自然对象的能力，并且只有与目标任务相关时，附加的预训练数据才是有益的。我们有大量的人脸关键点标注数据，但是却没有大量的动物关键点训练数据来训练神经网络。于此同时，由于人脸和动物面部结构的不同，直接采用微调的方式可能不会得到很好的结果。在本文中，我们通过转换人脸和动物面部数据的方式解决了这个问题（关键点检测）。然而怎样才能通过cnns达到这样的效果呢？ 我们主要是使数据集适应预先训练的网络，以便更好地进行微调，而不是使预训练网络去适应训练新的数据集。将新数据集和预训练任务中数据进行匹配映射，我们可以用一个人脸关键点检测的网络，然后finetune网络使其能够对动物面部进行检测。具体来说，我们的想法是warp每个动物图像，使其看起来更像人类，然后使用所产生的wrap图像微调经过预训练的网络，以检测人的面部关键点。
直观地讲，通过使动物的面部看起来更像人类，我们可以纠正它们的形状差异实现，因此在微调过程中，网络仅需要适应其外观差异。例如，马嘴角之间的距离通常比其眼睛之间的距离小得多，而对于人类来说，这些距离大致相似（形状不同）。另外，马有毛皮，人没有。 我们通过wrap网络会拉开马的嘴角来调整形状差异，而在微调过程中，关键点检测网络会学会针对外观差异进行调整。
Contributions. 1. 引入了一种用于动物面部关键点检测的新方法，该方法从人类面部关键点检测的loosely-related领域中转换信息。 2. 提供了一个新的带标注的马面部关键点数据集，其中包含3717张图像。 3.展示了马匹和绵羊关键点检测的最新结果。 通过将动物数据转换为看起来更像人类的图像，我们可以通过简单的微调在关键点 检测精度上获得显着提高。 重要的是，随着训练数据量的减少，我们的方法与简单的微调之间的差距越来越大，这表明我们的 方法对小型数据集的实际适用性。2. Related work
面部关键点检测和对齐在计算机视觉的研究中已经十分成熟。经典算法包括....(此处省略)3. Approach
我们的目标是在没有大量动物标注数据集的情况下检测出动物的面部关键点。为此，我们建议采用预先训练的人脸关键点检测器，同时考虑它们的种间域差异。为了进行训练，我们假设访问关键点注释的动物脸部，关键点注释的人脸及其相应的预先训练的人类关键点检测器。为了进行测试，我们假设可以使用动物脸部检测器（即，我们仅专注于面部关键点检测而不是面部检测）。我们的方法包括三个主要步骤：查找与每个动物脸部姿势相似的最近邻人脸； 利用最近的邻居来训练从动物到人类的变形网络； 并使用变形的（类似人的）动物图像微调用于动物面部关键点检测的预先训练的人类关键点检测器。 3.1. Nearest neighbors with pose matching 为了能够使（losely-related）人脸关键点检测器进行微调适用动物，我们的想法是首先使动物的脸部变形为更像人的形状，以便预先训练的人检测器更容易 适应动物数据。 一个挑战是，任意一对动物和人的脸对都可能表现出截然不同的姿势（例如，朝右的马和朝左的人），这会使翘曲变得极具挑战性，甚至是不可能的。 为了减轻这种困难，我们首先找到处于相似姿势的动物和人类。 如果我们有针对动物和人脸的姿势分类器/注释，那么我们可以简单地使用它们的分类/注释来找到动物和人脸对。 然而，在这项工作中，我们假设我们没有姿势分类器和姿势注释的访问权限。 取而代之的是，我们在给定其关键点注释的情况下找到接近人脸姿势。 更具体地说，我们计算一对人类和动物关键点之间的角度差，然后为每个动物实例选择最相似的人脸。
4. Experiments
在本节中我们分析关键点检测模型的准确性，并逐个分析每个模块。此外，我不同数量的数据集上对模型进行评估，并在wrap网络表现较好的情况下评估最优解。 Baselines： 我们与[51]中提出的算法进行比较，该算法在级联形状回归框架中使用三重态插值特征（TIF）进行动物关键点检测。 我们还制定了自己的baseline。 第一个baseline是没有扭曲网络的完整模型。 它只是在动物数据集（“ BL FT”）上微调了预先训练的人脸关键点网络。 第二个baseline是我们的完整模型，没有wrap损失； 即，它仅通过关键点检测损失来微调预训练的人脸关键点网络和wrap网络。 该基线等用于[19]中提出的空间变换器设置。 我们使用TPS（“ BL TPS”）显示了此结果。 第三个baseline从零开始训练关键点检测网络。 即无需进行任何人脸关键点检测的预培训，也无需扭曲网络（“从头开始”）。 Datasets： 我们根据AFLW [23]数据集和[40]中使用的训练数据对人脸关键点进行了关键点检测网络的预训练（共31524张图像）。 该数据集还用于动物到人类的最近邻居检索。 我们评估了对两种动物（马和羊）的关键点检测。 对于 马 实验，我们使用“ 马面部关键点”数据集，该数据集包含3531张训练图像和186张测试图像。 对于羊 实验，我们手动标注了[51]中提供的数据集的一部分，以便在人类数据集中存在相同的5个关键点。 该数据集包含432张训练图像和99张测试图像。 Evaluation metric：我们使用与[51]相同的度量标准进行评估：如果预测的关键点与标注的关键点之间的欧式距离大于面部（边界框）大小的10％，则视为失败。 然后我们将平均失败率计算为失败的测试关键点的百分比。
Training and implementation details：我们发现，在联合训练之前对wrap网络进行预训练可以带来更好的性能。 为了训练wrap和关键点网络，我们对每张动物图像使用K = 5个人类图像。 这些匹配项还用于4.4节中介绍的“ GT Warp”网络中。
对于TPS wraping 网络，我们使用5×5的控制点网格。 我们使用adam[22]优化器。 wrap网络训练的基本学习率为0.001，而预训练层的学习率则低10倍。 它训练了50个epoch，学习率在25个epoch后降低了10倍。 在完整的系统训练过程中，wrap网络的学习速率相同，而关键点检测网络的学习速率为0.01。 我们将网络训练了150个epoch，分别在50和100个epoch后降低了学习率。 最后，我们使用水平翻转和从-10°到10°的旋转（以5°为增量）进行数据增强。
4.1. Comparison with our baselines 首先，我们将所有模型和我们的模型进行比较。如图5，分别展示了马和羊数据集的验证结果。在这两个数据集中，我们的模型表现更好，关键点平均失败率分别为8.36%，0.87%。5. Conclusion
我们提出了一种新的动物面部关键点定位方法。 传统的deeplearning通常需要大量的带标注的数据，此类数据集的制作费时又费利。因此我们没有制作大型带标注的动物数据集，而是使动物的脸部形状wrap成人的形状。 通过这种方式，我们可以利用目前已有的人脸关键点数据集来进行与动物脸部关键点检测任务。 并我们将我们的方法与其他baselines进行了实验对比，并展示了有关马和绵羊面部关键点检测的最新结果。 最后，我们制作了Horse Facial Keypoint数据集，我们希望该数据将对动物面部关键点检测这一领域有所帮助。