基于3D生物特征计算的多民族人脸美学研究

Facial beauty analysis is an emerging topic in the pattern recognition field, which has many potential applications, such as aesthetic surgery, cosmetics, virtual reality, etc. Currently, the facial beauty research based on 2D images has achieved preliminary progress. However, important information is missing when a real-world face is mapped to a 2D image, and the mapping is not ratio invariant. As a result, the features extracted based on 2D face images are often not consistent with the real-world measurements. With the development of 3D scanning and reconstruction techniques, a new trend of facial beauty analysis is based on 3D images, which is robust to head pose variations and is convenient to serve applications such as aesthetic surgery. Moreover, different ethnic groups have different facial characteristics as well as different facial beauty rules, which should be respected. This project will build a 3D face database containing the main Chinese ethnic groups and collecting the corresponding beauty ratings. Then, we will test the validity of the facial beauty rules, including averageness, symmetry, golden ratios, etc., on each ethnic group and analyze the differences. Finally, we will build ethnic specific facial beauty models and develop face beautification algorithms that keep ethnic characteristics. This project will enrich the computerized facial beauty research and be beneficial to related studies in the psychology and aesthetic surgery fields.

人脸美学分析是模式识别领域的一个新方向，在整形、化妆、虚拟现实等方面有着广泛的应用。目前，基于二维正面人脸图像的美学分析已取得初步进展。但是，从三维空间的人脸映射到二维图像时存在信息丢失且不能保持比例不变，因此基于二维图像计算的特征往往与真实情况不符。随着三维扫描和重建技术的成熟，基于三维图像的人脸美学研究将成为趋势，它对姿态、光照变化鲁棒，且容易与整形医学等应用相结合。此外，不同民族的面部特征存在差异，对应的美学规则也不尽相同，研究中应尊重这种差异。本项目首先建立一个涵盖我国主要民族的三维人脸图像数据库，并采集人脸的主观审美评价；然后检验平均脸、对称性、黄金比例等规则对各民族人脸的有效性，分析不同民族人脸审美的差异性；最后研究多民族人脸审美建模和具有民族特色的人脸美化方法。本项目是计算机人脸美学研究的丰富和补充，对心理学、整形医学等学科的研究也很有借鉴意义。

本项目的总体研究框架分为两大部分，第一部分是三维人脸美学数据库建设，第二部分是人脸美学分析。项目实施过程中紧紧围绕这两部分展开研究，经过充分的调研和实验，探索解决问题的方法。目前两部分研究均取得较大进展，本项目的研究目标已经基本完成。.在三维人脸美学数据库建设方面，主要有两个工作。1）基于Azure Kinect RGB-D相机采集动态三维人脸，包括微笑、大笑、皱眉、闭眼和张嘴5种表情和左、右、上、下4种姿态变化，采集了60个独立个体，参与者中少数民族占40%。每人900帧图像，共可获取54000个三维人脸点云数据。2）基于单目人脸三维重建算法，对现有公开人脸美学数据集SCUT-FBP5500中的人脸图像进行三维重建，将其拓展成三维人脸美学数据库。此外，开发了人脸美丽度主观评分网站，用于采集主观审美评价，对主观审美评价的一致性进行了分析。.在人脸美学分析方面，1）完成了三维人脸的特征点标定并提取了三维人脸几何特征。根据文献调研情况和传统人脸审美规则，我们定义了35个具有解剖学意义的人脸特征点，并实现了特征点标定。基于特征点定义了距离、比例、角度等几何特征。与二维几何特征相比，三维几何特征信息更为丰富，增加了重要的人脸侧面几何信息。然后研究不同几何特征对于人脸美丽度的影响。2）实现了三维人脸的参数化表示。在3DMM模型的基础上，将形状、纹理、光照、姿态、表情等因素解耦出来，将人脸表示为一个257维的向量。分析这些参数与人脸美丽度之间的关系，我们发现了俯仰角特征与人脸美丽度有较强相关性。并设计干预实验，验证了二者之间的因果联系。3）我们在研究方法上有所创新，不仅进行传统的相关性分析，还强调了因果发现在人脸美学分析问题上的重要性。从而使人脸美学分析问题转化为求解目标变量的马尔科夫毯问题。