基于三维人脸实时成像的三维人脸图像识别理论和方法的研究

It is difficulty to build a robust 2D face recognition system because that 2D faces are easily affected by illumination, expression and pose variations. 3D face recognition is receiving more attention and becoming more popular in computer vision, AI and pattern recognition because that 3D faces can overcome the above problems in 2D face recognition. There are some key problems in 3D face recognition, it is difficulty to obtain 3D face data, 3D face feature is not easy to be described, and surface matching is also difficulty. In this project, we set up a 3D facial imaging system by using correlation image sensor and 3-phase lighting modulated by sine-wave function. The depth map and normal vector map containing 3D facial shape information and their corresponding intensity images are obtained simultaneously by the face imaging system. The vector map has nothing to do with the change of illumination,so 3D face recognition is illumination free. Based on Differential Geometry theory and fiber bundle theory, We describe the 3D facial surface in Riemannian Space by employing geodesic distance instead of Euclidean distance. We describe the core geometric feature of facial surface by taking advantage of Riemannian Manifold theory. We propose an novel surface matching algorithm based on Sparse Representation theory and Graph Matching algorithm. In the condition of illumination, pose and facial expression variations, the 3D face recognition by our algorithm is more accurate and faster than traditional 3D face recognition.

二维人脸识别因受到光照,姿态和表情变化等因素影响,很难构成鲁棒性较强的识别系统,三维人脸识别因有效克服上述问题而日益受到研究者的广泛关注,现已成为机器视觉,模式识别和人工智能等领域的前沿课题。但三维人脸识别存在数据获取难,人脸特征难以描述,三维形变识别难,识别速度慢等问题。本研究尝试从全新的角度提出对上述关键问题的解决方案.通过配置相关型图像传感器和三相正弦波调制光源,获得含有人脸三维物理表面形状信息的,与外界光照变化无关的法线向量图和完全对应的灰度图,根本克服光照变化对人脸识别的影响;以测地线距离代替欧氏距离,建立三维人脸曲面的黎曼空间表示,结合微分几何理论和纤维丛理论,以三维人脸的黎曼流形表达来揭示人脸曲面的本质几何特征;研究将信号稀疏表达理论应用于图匹配技术,探索一种新的三维人脸识别的稀疏图匹配快速算法,结合精确定位特征点,在光线,表情和姿态变化条件下,快速准确地进行三维人脸识别.

二维人脸识别因受到光照,姿态和表情变化等因素影响,很难构成鲁棒性较强的识别系统,三维人脸识别因有效克服上述问题而日益受到研究者的广泛关注,现已成为机器视觉,模式识别和人工智能等领域的前沿课题。但三维人脸识别存在数据获取难,人脸特征难以描述,三维形变识别难,识别速度慢等问题。本课题从全新的角度提出对上述关键问题的解决方案。通过配置深度传感器来构成三维成像系统,获得含有人脸三维物理形状信息的,与外界光照变化无关的深度图和完全对应的灰度图,因而从根本克服光照变化对人脸识别的影响;以测地线距离代替欧氏距离,建立三维人脸曲面的黎曼空间表示,结合微分几何理论,以三维人脸的黎曼流形表达来揭示人脸曲面的本质几何特征;将信号稀疏表达理论应用于图匹配技术,研究一种新的三维人脸识别的稀疏图匹配快速算法,结合精确定位特征点,在光线,表情和姿态变化条件下,快速准确地进行三维人脸识别。本课题研究了成像过程中的噪声干扰问题，研究了成像过程中去除噪声的方法；本课题研究了成像过程中的灰度不均匀问题，提出了用光滑函数进行拟合补偿的方法；项目研究了数据库的查找识别问题，提出了一种人脸图像检测方法；本课题研究了噪声环境下的感兴趣图像分割问题，提出了结合先验知识进行有效分割的方法，在三维深度图像中和医学图像中验证了本算法的有效性。本课题结合最新的深度学习理论，用于三维图像分析和识别，并对现有的一些深度学习框架进行了改进，取得了较好的实验结果；课题研究了机器学习中的流形学习方法，并应用于三维人脸深度图像特征分析和提取，进而进行三维人脸图像分析和识别；本课题将三维人脸的学习方法和特征分析方法应用于医学图像领域，取得了较好的实验结果，发表了SCI期刊JCR3区论文6篇，发表《电子学报》《自动化学报》等中文核心期刊5篇，授权了3项国家发明专利，并申报了4项国家发明专利，获得2014年，2015年中国人工智能学会吴文俊科技进步奖三等奖。