单目视觉共享动态隐变量人体姿态分析的研究

可视媒体具有同步、动态观测以及低成本的优势，已逐渐成为分析人类行为以及辅助人类认知的重要途径，其中利用单目视觉技术进行三维人体姿态分析的研究在自然人机交互游戏以及安全监控方面具有重要的理论意义和广泛的应用前景。本项目将探讨高自由度人体姿态空间与图像观测空间同时映射到低维隐空间进行跟踪的科学机制，研究围绕以下几个方面展开：1）研究高斯过程共享动态隐变量模型的理论与方法，利用该模型推导人体低维多模型状态方程以及观测方程；2）在低维空间采用智能多模型方法估计低维状态，利用高斯过程的可逆性重建高维状态；3）采用压缩感知原理将人体图像组合特征稀疏编码输出观测向量。本项目旨在寻求一种新的隐变量模型以降低直接姿势估计的复杂度；采用智能多模型方法提高人体姿态估计的准确性；研究新的稀疏编码算法减少自遮挡、空洞以及缺损噪声的影响。项目的成功实施将有助于促进单目视觉人体姿势分析在游戏制作等相关方面的广泛应用。

基于视觉的三维人体姿态分析在智能视频监控、智能人机接口、虚拟现实、游戏制作以及体育运动分析及健康评价方面有着广泛的应用前景和潜在的经济价值。例如，通过对人的运动分析，识别出其危险动作，输出的结果对公共安全部门十分重要；语音接口大大简化了人机对话，而视觉信息（如手势、头部姿态和表情等）也可以作为语音识别和自然语言理解的有效补充；为了在虚拟空间中产生生动逼真的人物动作，先用视觉方法对物理世界中的人体运动进行分析，获取人体模型、人体姿态以及运动参数，最后将这些数据合成动画或游戏；运动员训练中可以用视觉技术分析视频序列中肢体运动轨迹，找出技战术缺陷。..基于学习的方法需要提取精确的图像特征，学习图像特征与运动捕捉数据之间的映射，使用该映射恢复人体运动姿态；基于模型的方法都有明确参数的人体模型，大部分都是使用确定性或者随机性的优化方法，在高维的状态空间中搜索最优的状态。..本项目利用两种方法的优点，将共享隐变量模型的方法引入到人体运动分析中，一方面，利用基于模型方法大框架，建立人体骨架模型，另一方面，使用运动捕捉数据直接训练运动模型指导人体运动跟踪，增加运动跟踪的精确性，使跟踪结果更加符合人体运动规律。本项目主要完成了下列工作：..1..以高斯过程隐变量模型为基础，针对状态方程、观测方程以及低维隐变量动态方程中的参数同时进行边缘化积分输出一个最小化的目标函数，从该目标函数出发，研究共享动态隐变量模型的解析表达；采用主分量分析（PCA）方法计算出高维状态和观测向量的线性子空间，并将其作为共享动态隐变量的初始解。..2..提出了一种基于变结构多模型(VSMM）的人体运动估计方法。根据总运动模型中所有模型的转移概率，对模型集进行分组，并根据人体肢节的投影角度变化设计运动模型群之间的跳转规则，使用与当前人体运动模式匹配最好的运动模型群组指导人体运动跟踪，使得跟踪结果更加符合人体运动规律。..3. 从人体区域中提取图像特征上下文描述子（Shape Context）并进行特征的稀疏编码；提出了基于稀疏几何流的图像描述子，最后输出为观测向量。..除了完成了原计划书中的研究内容以外，通过跟踪调研国际上的人体运动视觉分析的最新趋势和动态，同时对原计划书中的研究内容做了必要的扩展研究，如提出了基于稀疏几何流的图像描述子，并开展了在人体运动视觉分析中的应用研究，如基于视觉的跟踪，人脸识别，图像安全