面向人手三维跟踪的粒子滤波器中的实时性和鲁棒性问题研究

本项目以自然人手在虚拟样机系统中的应用为基本背景，以提高粒子滤波方法的计算效率为切入点，探索鲁棒性和实时性相融合的人手3D跟踪方法，使之基本满足基于自然人手的HCI在数字虚拟样机系统中的理论和应用的需要。基于认知心理学、行为心理学以及运动控制学等学科的相关理论，提出一种人手状态变量微观结构的概率描述形式以及以之为基础的粒子生成方法；从UKF预测的内在机理入手，找到Sigma点与状态观测值之间的结合点，以进一步改善前期UKFDUT+MM预测算法的时间复杂度和精度；将帧图像中的人手特征进行分类，利用多尺度理论在不同尺度上处理图像结构，从不同层面上对观测图像进行有效的表达和处理，通过设计不同类型人手特征响应算子，获取状态观测特征和观测似然模型，基本满足鲁棒性和实时性的需要。对基于自然人手HCI的认知心理和行为心理模型、"双UT变换"状态预测方法的时间开销等部分关键问题展开研究。

基于计算机视觉的自然人手3D跟踪为现实或虚拟环境里的HCI提供新的模式，实现更直接、更自然、更和谐的人机交互，三维手势跟踪已经成为自然交互领域的一个重要研究方向。.主要对粒子滤波方法中的实时性和鲁棒性为目标的状态观测值和观测似然模型、状态预测方法、状态变量的微观结构等基础性问题和关键问题进行研究。主要创新性成果：（1）初步探明认知行为模型与人手运动系统动态模型之间的联系机理，通过手势状态变量微观结构的概率描述形式以及以之为基础的粒子生成方法，可以将采样过程建立在更加有效、高效、统一和开放的数据结构的基础之上。（2）从状态预测的内在机理和认知机制入手，把认知行为模型引入到状态预测中，可以极大地改善预测算法的时间复杂度、精度和鲁棒性。（3）利用多尺度理论在不同尺度上处理图像结构，可以从根本上改善提图像观测特征的速度和精度。实验结果表明，在普通PC机上，项目组提出的三维手势跟踪速度可以达到平均跟踪速度达到90ms/Frame左右；提取手势多边形的速度达到15ms/Frame，提取多尺度特征的平均时间开销在391-394 ms/frame之间——这些实验结果优于目前国内外相关算法的实验结果。.在2009.12-2012.12期间，在国家自然科学基金项目(项目编号：60973093)的资助下，项目组已发表/正式录用相关论文31篇，其中，在Pattern Recognition (PR)、The Visual Computer (TVC)、Chinese Journal of Electronics (CJE)等期刊上发表SCI论文6篇，在《软件学报》、《电子学报》等EI期刊上发表论文29篇，在重要国际学术会议上报告/发表论文9篇，指导硕士学位论文11篇。此外，还有部分论文正在审理之中，部分论文正在整理之中；在该项目的资助下，后续又分别获得山东省自然科学基金重点项目和校企合作项目各1项；获授权发明专利1项，另外2项发明专利正在审理中；获得2012年山东省高等学校优秀科研成果二等奖1项；编写专著1部；国内外学术交流达到近30人次，其中，邀请国外专家3人次来访，5人次国内专家来访，参加国际学术会议（SigGraph’11）1人次；通过该项目的资助，团队不断发展壮大，国内外影响力逐渐增强。