基于多源信息动态融合的实时三维头部跟踪的关键技术研究

头部三维姿态的实时鲁棒估计在虚拟现实、人机交互和互动游戏等中有着广泛的应用。这方面的研究虽然开展了很多年，许多依赖于有限几种特征或方法机制的跟踪技术已经被广泛提出，这些方法，或者仅在一定的假设条件下成立或者仅在一定的受控场景中表现良好。因而，在多变的真实场景中，他们经常失败，使得其在实际应用中的普及性和稳定性大打折扣。在本项目中，我们旨在通过配置不同源的摄像机，利用不同源摄像机提供的多源信息，综合考虑包括彩色、深度和红外图像等在内的多种信息，在"人脸基元特征定义和动态选取-自适应特征融合和匹配-多目标决策-在线先验更新"的统一框架指导下，动态地将这些信息加以自适应的融合，通过解决其中的关键技术，实现实际场景下头部三维姿态稳定、鲁棒的跟踪。

头部三维姿态的实时鲁棒估计在虚拟现实、人机交互、互动游戏、娱乐等领域有着广泛的应用，虽然有着长期的研究，但该问题并没有得到有效解决。根据任务书的要求，项目实施过程中主要围绕特征选择、不同数据源（视频、Kinect等）情况下的头部检测、分割和跟踪方法、特征在线学习等方面展开研究，在特征选择、特征在线学习、头部检测分割等关键技术上提出了一系列新技术和新方法，大幅提升了头部三维跟踪的鲁棒性和稳定性，并提出了集头部检测、分割和跟踪于一体的头部三维姿态估计框架，完成了各项研究任务，取得了较好的研究成果，在相关领域国际主流刊物和会议上发表论文30多篇。一些方法还在与本项目非常相关的其它目标跟踪中得到应用和拓展。基于本项目的研究成果，我们还开发了基于移动平台的视频数据三维头部建模系统，目前该系统正在进行产业化推进。