Example-Based Cosmetic Transfer
文章地址：Example-Based Cosmetic Transfer | IEEE Conference Publication | IEEE Xplore
有监督模型——需要成对的化妆前后图
目的：系统，虚拟上妆，基于实例的妆容迁移
- 参考面部的固有皮肤特征，雀斑、痣和污点等不应该被转移
- 保留目标面部的皮肤特征
要求：上妆前后图像对且两张图片在相同的位置和光线下获得
A和A’是参考图，B是目标图，B’是生成图
------------------------------------------------------------------------------------------------------------------------------
方法：基于图像的技术
- 计算上妆前后图像颜色和光照的变化
- 对参考面部与目标面部皮肤纹理和肤色差异进行调整
- 对给定的目标面部快速应用和调整化妆风格
------------------------------------------------------------------------------------------------------------------------------
妆容迁移：
1. 预处理
参考图和目标图要在相同的光照和姿态下获得
（1）去除眉毛和睫毛
使用Bayesian matting（贝叶斯抠图）[1]对眉毛和睫毛分割
构建tri-map，其中背景、前景和不确定区域被粗略标记，使用贝叶斯抠图自动对不确定区域抠图。输出为蒙板α ，表示目标图像中眉毛和睫毛的选区。
（2）使用合成的纹理填充去除眉毛和睫毛后所形成的洞
图像修复和纹理合成
使用图切割纹理合成算法[2]并使用孔洞周围的图像作为纹理补丁。
（3）提取固有的皮肤特征
去除参考图中的雀斑、痣和污点
从人脸图像中选择皮肤贴片，将独立成分分析(ICA)[3]应用于贴片，以获得人体皮肤上某些可见斑点的两种色素的分离矩阵。黑色素产生的颜色通常会被设定阈值，以数字方式降低它们的可见性，使图像中的脸部看起来更白，肤色更均匀。
（4）将面部几何结构扭曲为标准的面部模型
手动指定输入图像和标准人脸模型之间的二维点对应，可使用专门针对人脸训练的主动外观模型[4]减少手动处理
2. 妆容映射
Cp = a* p / ap
ap 和 a*p是化妆前后像素p的强度
b*p = cpbp
最终输出的B*（生成图）是所有{b*p}的集合
3. 外观校正
每个像素p处的颜色合成公式：
γ∈[0,1]控制化妆品的用量
得到的妆容图C只考虑了颜色和反射率的变化，由化妆引起的细微几何变化导致的外观差异并没有被捕捉到。
对妆容图求拉普拉斯二阶导数，并将二阶信息映射到输出图像上。
在给定β后，等式右端为确定值，此时需要修改b*p以满足上式对Δb*p的约束。该约束可通过高斯-赛德尔（Gauss-Seidel）迭代求解。
4. 眼部迁移
利用提取的眉毛和睫毛的蒙板α，将图像B的眉毛和睫毛选区叠加到B*上，实现眉毛和睫毛的迁移。
------------------------------------------------------------------------------------------------------------------------------
结果：
1.只转移化妆品，不转移固有特征和参考面部的肤色
2.化妆品的用量可调，可展示相同风格的淡妆与浓妆
3.对图像润色
4.保持了毛发的颜色和密度
5.可混合不同的化妆风格
------------------------------------------------------------------------------------------------------------------------------
缺点：
对输入图像要求太高，很难确保参考图和目标的精确性