人脸美丽智能感知及其应用

Facial beauty is an universal part of human experience. This project aims to investigate the fundamental problems of automatic perception of human facial beauty in terms of feature extraction, feature subspace manifold learning, classification, prediction and facial beautification. The main research issues includes, (1) feature extraction approach for facial beauty representation, feature subspace learning methods based on Discriminative Locality Alignment (DLA) manifold learning, Discriminative Information Preservation (DIP) manifold learning; and beauty similarity metric measure using DLA-OSS model (2) facial beauty classification and regression methods based on deep learning theory and technologies, such as the Sparse Auto-Encoder (SAE), deep Convolutional Neural Networks (CNN); (3) face beautification method based on edge-preserving smoothing, Multilevel Free-form Deformation (MFFD), data driven by average faces and facial texture synthesis; (4) design and implementation of a real time facial beautification application system. It is expect that the machine can also be trained with the ability to perception of facial beauty like human beings.

人脸美是人类所广泛感知的一个概念，项目针对人脸美丽智能感知的科学问题，从人脸美学的特征提取、特征子空间流形学习、分类预测、人脸美化等四个方面来探索美丽的本质，主要研究内容包括：（1）人脸美丽的特征提取方法的研究，基于鉴别局部对准（DLA）流形学习模型、以及基于鉴别信息保留（DIP)流形学习模型的人脸美丽子空间流形学习方法的研究；融合DLA及OSS相似性度量学习的人脸美丽度量学习方法的研究；（2）基于深度学习的人脸美丽的特征学习及分类方法的研究，包括稀疏自编码机（SAE）的人脸美丽特征学习方法、基于深度卷积神经网络的人脸美丽分类与预测模型；（3）基于边缘保持的人脸图层分解技术、多层次自由变形技术(MFFD)、平均脸数据驱动、以及人脸纹理合成技术的人脸美化方法的研究；（4）人脸美丽智能感知应用系统。通过本项目研究，预期能使得计算机在某种程度上也拥有像人一样的美丽感知智能。

从古到今人类就意识到人脸美丽吸引力的存在。由于其对人们生活的重大影响，人脸美丽吸引力的研究受到了来自哲学、生物学和认知心理学等不同领域学者的关注。尽管这些领域的研究者们对人脸美丽进行了多年的研究工作，但目前利用图像处理、机器学习以及人工智能等方法来进行较客观的人脸吸引力预测的研究并不深入。传统机器学习方法下的人脸美丽预测多依赖于几何特征或表观特征，其对人脸五官比例或纹理的不同侧重容易导致人脸美丽信息的丢失。作为机器学习领域中一个新的研究方向，深度学习可以在数据驱动的模式下自动学习数据特征，其多层次的组织结构能得到对数据更具表征性的高层抽象。 深度学习在图像分类和语音识别领域取得了突破性进展，但目前基于深度学习方法的人脸美丽预测研究还不是很多。本课题通过深度学习方法来探究如何更好地预测人脸美丽吸引力。完成的主要研究工作包括：.(1)构建了一个专用于人脸美丽评价的数据库，该数据库可公开下载并提供基准测试。该数据库收集了5500张不同美丽等级的高分辨率人脸，邀请70余名志愿者对相片进行美丽等级的评价，并对采集到的统计信息从分数分布、标准差、自一致性和时间相关一致性等四个方面进行验证，以保证数据的可靠性。.(2) 研究并提出了多种定量描述人脸美丽的特征。 .3) 将深度学习方法中的多层感知器、卷积神经网络等网络结构应用到人脸美丽吸引力的自动预测，研究了多个在图像输入质量、卷积核大小和网络深度上各自不同的卷积神经网模型。提出了MC-CNN等端到端人脸美丽评价模型。结合认知心理学和卷积神经网络设计了两种人脸美丽吸引力预测模型。是一个端到端的人脸吸引力预测模型。.(4).提出和构建了一种区域感知蒙板的新型方法。这种“区域感知蒙板”不仅能自动地实现皮肤区域选择与自动设置非均匀的局部编辑程度，而且能准确地拟合复杂的区域边界与产生自然的区域过渡。在此基础上，构建出自适应人脸皮肤美化技术框架，同时实现对人脸图像的亮度、光滑度和颜色三种重要皮肤属性的自动美化。.(5). 构建了两个应用演示系统。