基于深度和图像融合的特征判别模型及其在形变三维人脸跟踪中的研究

Cognitive tasks based on multi-sensors fusion(image, voice, infrared)has been extensively studied, which might lead to breakthrough on many traditional image based vision tasks, for example, dynamic scene modeling, body alignment, human-computer interaction etc..In this proposal, we bring out a new framework for non-rigid 3D face tracking and modeling, which is built up on the information fusion from both depth and image channels. The proposed tracking framework contains the following key components: 1) A random regression forest for 3D pose prediction from depth features, which has strong generalization ability for the real-world scenarios; 2)Rank based discriminative depth and image features for object localization, which are redundant complicated features obtained when the tracking target varies across viewpoints; 3) A hierarchical optimization strategy for robust motion and deformation parameters estimation in high dimensional space. We also offer several real-world applications based on the proposed non-rigid 3D tracking framework, like video based expression recognition system, new prototype of Human-Computer Interface etc. Besides the deep impression in the research field related to 3D object tracking, the topic on information fusion of depth and image features for robust non-rigid 3D object tracking has strong generalization ability which can be widely used in the application of 3D object modeling, video based 3D object retrieval and computer animation, etc.

近年来，基于多模态传感器融合（图像、声音、红外等）的感知技术得到了飞速地发展，这种多感知通道融合的信息获取方式为突破传统的基于图像的三维人脸跟踪的瓶颈提供了可能。在本项目的研究中，我们提出了基于图像与深度成像设备进行可形变三维人脸跟踪和建模的系统框架。该系统的核心思路在于利用图像和深度信息互补性的特点，对三维物体的局部特征建立基于置信度排序的判别模型，以解决以往的图像特征在多视角和成像变化条件下描述能力不足的缺点。同时，我们提出了层次化运动和形变参数求解策略，以解决高维空间的参数估计收敛性问题。最后，基于可形变三维人脸跟踪系统，我们提出了一系列更深层次的应用：新型人机交互界面，基于视频的表情识别等系统。本项目的研究不仅能推动可形变三维物体跟踪这个重要的计算机视觉领域的理论发展，通用的三维物体跟踪算法还能在三维物体的动态建模、三维物体的视频检索以及计算机游戏和动画中得到广泛的应用。

本项目是基于深度和图像信息融合的形变三维人脸跟踪技术的研究，研究内容包括了基于图像和深度/图像融合的三维人脸特征定位和跟踪算法。本项目研究的核心思路在于利用图像和深度信息互补性的特点，对三维人脸物体的局部特征建立基于置信度排序的判别模型，以解决以往的图像特征在多视角和成像变化条件下描述能力不足的缺点；同时，我们提出了层次化运动和形变参数求解策略，以解决高维空间的参数估计收敛性问题。最后，利用统一的特征描述和分类框架来解决深度和图像通道的人脸检测和定位问题。我们所提出的三维人脸定位方法，在公开的图像以及深度/图像数据库上(300W,BIWI)的结果达到了同时期的最好结果。在实际应用中，我们实现的基于可形变三维人脸跟踪系统被集成到包括手机和车联网在内的各种移动平台，作为鲁棒的人机交互核心模块提供手机用户和驾驶者的实时状态检测。.本研究课题需要整合计算机视觉、模式识别与机器学习等多方面的知识，因此起点较高，难点较多。本研究项目的人脸跟踪算法能够为人机交互特别是移动平台的人机交互提供实时的检测、跟踪方法。总体来说，本项目进展顺利，共发表论文4篇，其中JCR一区期刊论文2篇，EI会议论文2篇。申请发明专利2项。