基于层次化显著性与年龄演化特征的逆向人脸美化方法

This project studies deeply on some key techniques about the reverse-age face beautification based on hierarchical saliency and age evolution characteristics. Based on the traditional algorithm to compute significance, and combined with color, texture and geometric features, we study the saliency map of face images and videos in big data of visual media by using the hierarchical principle combined with the characteristic area; calculate the face significant region related with age, extract the significant characteristics of age related, establish effective model for age feature of face; research on face growth model, find the algorithm for representing the face age evolution, and simulate efficiently for face age evolution; abstract the face as the combination of feature point, standardize the relationship between the feature points according to the age evolution the model, realize the face beautification of reverse-age, solve effectively the problem of serious distortion and age inconsistency in face beautifying , so that the face beautification techniques based on hierarchical saliency and characteristics of face age are more natural and reasonable; study and implement the face beautification algorithms and prototype system of reverse-age evolution. This project is expected to promote the development of facial beautification techniques and related applications in digital entertainment, online communities and the other big data of visual media. It has great significance in both theory and applications.

本项目围绕基于层次化显著性与年龄演化特征的逆向人脸美化中的若干关键技术展开深入研究。在传统显著度计算算法的基础上，结合颜色、纹理和几何等特征，研究利用层次化原理结合特征区域来形成可视媒体大数据中人脸图像与视频的显著度图；计算影响年龄的人脸显著性区域，提取与年龄相关的显著性特征，建立有效人脸年龄特征模型；研究适用于不同人种或种族的人脸生长模型，建立用于表征人脸年龄演化影响的计算方法，对人脸年龄演化进行高效建模；将人脸抽象成特征点的的组合，通过年龄演化模型对特征点之间的关系进行标准化，实现逆年龄演化的人脸美化，有效解决人脸美化中的严重失真和美化程度不一致等问题，使得基于年龄的人脸层次化显著性特征美化技术更加自然合理；研究并实现逆年龄演化的人脸美化关键算法及原型系统。本项研究可望推动数字娱乐、网络社区等可视媒体大数据领域中人脸美化理论及应用技术的发展，具有重大理论研究和实际应用意义。

人脸美化技术研究作为可视媒体智能处理的关键技术，具有重大理论和应用意义。我们围绕图像显著性特征层次化表示、人脸特征模型、人脸年龄演化模型、基于年龄显著性的特征演化与人脸美化算法，相关软件系统五项核心内容展开研究；根据目前人脸美化的进展，结合当前人工智能发展趋势和研究技术热点，将人脸美化与跨年龄人脸识别，人脸风格化美化深度结合，取得了超预期研究成果。1）图像显著性层次化表示：基于视觉注意力机制检测出人脸图像和视频的显著性特征，提取并分析了人脸区域中不同显著程度的部位，提出层次化人脸显著度和显著性特征表示方法，有效解决图像和视频中的复杂光照，复杂生理模型和复杂纹理细节等影响。2）人脸特征模型：基于图像统计学理论和人脸层次化表示方法，结合人脸颜色、纹理、几何和运动的综合特征和人脸年龄密切相关的显著性特征，将人脸分为年龄层和身份特征层，结合层次化显著性特征建立更加合理的人脸年龄特征模型。3）人脸年龄演化模型：根据颅骨生长模型和人脸皮肤纹理变化规律建立用于表征人脸年龄演化影响的计算方法，吸取基于年龄的人体测量学的方法，推演具有年龄跨度的人脸预测表象，依托海量人脸数据，学习人脸特征的表示于推演算法，更符合生物学演化机理。 4）基于年龄显著性特征演化与人脸美化：提出了人脸逆年龄演化与美化算法，将人脸抽象成特征点的集合，通过年龄演化模型对特征点之间的关系进行标准化，实现对皮肤纹理、整体胖瘦以及五官部分分布的调整，实现人脸外观形状及布局的美化效果。结合逆向皮肤纹理美化算法实现最终的人脸美化算法。5）完成鲁棒的人脸识别软件系统：基于现有人脸识别技术，加入相关提升策略，结合人脸美化与年龄演化相关技术，深入研究人脸变化规律，将其融入到人脸识别系统当中，提出更加鲁棒的人脸识别软件系统。项目发表35篇高水平学术论文，其中期刊论文14篇、会议论文21篇，申请专利6项。培养1名博士后，6名博士（毕业3人），16名硕士。