基于单目图像序列与VSMM的人体运动分析

近年来，基于视频图像的人体三维运动分析成为计算机视觉和图象学领域的一个研究热点。本课题即从单目图像序列出发，针对人体三维运动分析中的遮挡问题以及现有基于模型的跟踪算法中在单一模型下人体跟踪效果不好的缺点，首先在关键点自动定位的基础上，建立基于Kalman滤波的漏检点预测机制；接着将变结构多模型（VSMM）引入到三维人体运动跟踪中，同时从三维人体运动的真实数据中学习到各关节的运动约束，以及用岭回归方法训练出不同动作的多个运动模型，最后利用多模型估计器与遮挡预测构成的两层框架来解决人体运动跟踪问题。本研究成果在虚拟现实、三维动画游戏、高级人机交互、安全监控、视频会议、医疗诊断、体育训练、人体生物特征识别以及基于内容的图像存储与检索等方面具有广泛的应用前景及潜在的经济价值。

人体运动视觉分析在生物医疗应用、无人驾驶、人机交互和视频存档与检索等方面都有广泛的应用，从单目图像序列中精确的恢复三维人体运动姿态意义重大。但是，由于人体形状无限可变性、自由度庞大、局部最小值、遮挡和特征点定位歧义性等问题，人体运动跟踪是非常具有挑战性的研究课题。近几年，基于视频的人体运动分析的方法主要分为两大类：基于模型的人体运动跟踪和基于学习的人体运动跟踪。基于模型的方法都有明确参数的人体模型，大部分都是使用确定性或者随机性的优化方法，在高维的状态空间中搜索最优的状态；基于学习的方法需要提取精确的图像特征，学习图像特征与运动捕捉数据之间的映射，使用该映射恢复人体运动姿态。本项目汲取两种方法的优势，将变结构多模型的方法引入到人体运动分析中，一方面，利用基于模型方法大框架，建立人体骨架模型，另一方面，使用运动捕捉数据直接训练运动模型指导人体运动跟踪，增加运动跟踪的精确性，使跟踪结果更加符合人体运动规律。本项目主要完成了下列工作：1. 改进人体关节点的检测算法。本项目在人体关节点检测算法中加入粒子滤波机制和肢节长度信息，当四肢在视角内做前后摆动的情况时也能够准确的检测到人体的关节点位置，在发生遮挡时，改进的检测方法优势更加明显。2. 提出了一种基于模型群跳转-变结构多模型（MGS-VSMM）的人体运动跟踪方法。根据总运动模型集中所有模型的拓扑关系和转移概率，对总模型集进行分组，并根据人体肢节的投影角度变化设计运动模型群之间的跳转规则，使用与当前人体运动模式匹配最好的运动模型群组指导人体运动跟踪，使得跟踪结果更加符合人体运动规律。3. 提出了一种基于可能模型集-变结构多模型（LMS-VSMM）的人体运动跟踪方法。不对总运动模型集进行分组，设计更加精细的模型跳转规则，每一时刻只使用与当前运动模式最匹配的一个或者两个运动模型，在不降低跟踪精确度的情况下，大大降低运行时间。.除了完成了原计划书中的研究内容以外，通过跟踪调研国际上的人体运动视觉分析的最新趋势和动态，同时对原计划书中的研究内容做了必要的扩展研究，如提出了基于稀疏几何流的图像描述子，并开展了在人体运动视觉分析中的应用研究，如人体检测，人体运动跟踪，动作识别等，取得了良好的效果。再者，随着机器学习的进一步发展，深度学习已经成为最主要的趋势，我们相应地开展了深度特征学习方法的研究，目前进展顺利，并取得了一些初步成果。