Eyeglasses 3D shape reconstruction from a single face image

本文讲的是如何基于人脸图像做3D眼镜(不包含眼镜架)重建。

作者自己收集了一些图像,然后手工标注了眼镜的landmark和segmentation mask。

Eyeglasses 3D shape reconstruction from a single face image

整体流程如下所示:

1.从输入图像中提取人脸和眼镜的特征,即landmark和segnmentation map

2.将3DMM模型配准到原始图像中,获得面部的pose

3.结合人脸pose计算出眼镜的pose,即先将眼镜的初始pose设为人脸Pose,然后再加一个相对人脸的位移即可。

4.结合眼镜pose将眼镜做frontalization

5.从眼镜模板库中寻找到最接近的一个模板,作为重构基础。(作者自己设计了九个眼镜模板,说是可以囊括大部分的眼镜。)

6.再在模板的基础上根据输入的眼镜特征做进一步的优化,使之更好的贴合眼镜。

4~6步不断迭代,直到模型收敛,得到最终的3D眼镜模型。

上一篇:C# 中文简繁转换


下一篇:USD home