本文讲的是如何基于人脸图像做3D眼镜(不包含眼镜架)重建。
作者自己收集了一些图像,然后手工标注了眼镜的landmark和segmentation mask。
整体流程如下所示:
1.从输入图像中提取人脸和眼镜的特征,即landmark和segnmentation map
2.将3DMM模型配准到原始图像中,获得面部的pose
3.结合人脸pose计算出眼镜的pose,即先将眼镜的初始pose设为人脸Pose,然后再加一个相对人脸的位移即可。
4.结合眼镜pose将眼镜做frontalization
5.从眼镜模板库中寻找到最接近的一个模板,作为重构基础。(作者自己设计了九个眼镜模板,说是可以囊括大部分的眼镜。)
6.再在模板的基础上根据输入的眼镜特征做进一步的优化,使之更好的贴合眼镜。
4~6步不断迭代,直到模型收敛,得到最终的3D眼镜模型。