基于图模型的人体运动捕获数据检索研究

With computer animation and motion capture devices widely used, a large amount of human motion capture data is obtained. It is the urgent demand to edit and reuse motion capture data efficiently that makes multimedia retrieval technology face a new challenge.Based on in-depth analysis of human motion capture data, the research work will be particularly focused on human motion capture data retrieval, involving complex time series signal processing and data storage structure design. To optimize the retrieval efficiency, the graph model, which is a powerful tool for complex system modeling, is selected for expressing and processing human motion capture data. The key works of our proposed human motion capture data retrieval are: the content-based and numerical-based human motion description, the similarity measurement of content-based and numerical-based human motion, and the reduction of data dimension and data storage capacity. The whole retrieval system will be constructed based on the above-mentioned technologies to meet large variety of retrieval enquiries. Our proposed project can be prospectively applied to various applications,e.g., movie stunt production, military simulation training, high-level athletes training, etc. Furthermore, the exploration of complex time series processing and the relavant research breakthroughs would achieve important theoretical and practical significance.

随着计算机动画技术的广泛使用以及运动捕获装置的普及，人体运动捕获数据急剧膨胀。对运动捕获数据进行高效编辑及重用的迫切需求，已使得多媒体检索领域面临新的挑战。运动捕获数据检索涉及复杂时间序列信号处理及数据存储结构设计，本项目在深入分析其特点的基础上，选用复杂系统建模的有力工具- - 图模型对其进行表达与处理，以使得检索效率最优化。本项目重点研究基于图模型的人体运动捕获数据检索问题，具体的研究内容包括：运动捕获数据基于内容和数值的表达方法研究，运动捕获数据基于内容和数值的相似性度量机制研究，运动捕获数据降维及数据存储方式研究等。在以上理论和关键技术研究的基础上，构建运动捕获数据基于多种形式查询的检索系统框架。本项目具有前瞻性和挑战性，其研究成果可用于电影特技制作、军事模拟训练、高水平运动员训练等领域。本研究在理论和关键技术上的突破对于探索复杂时间序列相关问题具有重要的理论意义和实用价值。

本项目开展了基于图模型的人体捕获数据检索研究。其主要研究目标是从三维人体姿态描述机制开始，应用图模型理论寻找快速有效的人体运动捕获数据匹配机制。进而将研究成果引入人体运动捕获数据认知及检索领域，最终建立动态立体环境基于图模型工具的人体运动数据检索框架。根据研究总体目标，本项目着重开展了以下问题研究，并取得了一定成果。现分别叙述如下：⑴ 探索了基于RGB与深度图像融合的骨架提取方式，以及基于3D模型数据库与模式识别的骨架提取方法。基于识别技术的运动骨架提取方法，首先需要建立运动骨架数据库，并通过融合深度图和三维模型，建立三维模型数据库和人体骨架数据库。同时，我们也探索了三维运动空间信息重建的相关问题，为了对运动数据进行采样，必须通过多摄像机对目标运动进行三维信息采集。本项目在充分考虑性价比、可操作性的基础上，提出了一种应用双目摄像机实现运动三维重建的方法。在基于简便装置进行三维运动重建方面，我们探索了应用单目摄像头及Kinect装置进行运动捕获，并设计了相关算法用于运动骨架重建。⑵ 探索了基于图模型的三维运动捕获数据的特征表达。为了对运动捕获数据进行有效检索，首要问题是如何建立动态环境三维运动姿态的图模型描述，本项目针对这个问题为切入点开展研究，提出了一种基于图像序列的三维动画描述方法。并在运动捕获数据表达的关键领域，提出了基于切换卡尔曼滤波的图模型结构，用以描述背景复杂环境下的运动手势特征。在此方面，我们也提出了多视角信息采集图模型运动检索系统架构。⑶ 研究了三维人体姿态相似度匹配及识别方法。一方面在人体运动识别的基本方法上开展了研究，运用典型时间规整算法对动作进行相似度匹配计算。另一方面，在人机交互系统中，结合聚类分析工具对运动序列分割方法进行了探索。在有关姿态识别相似性匹配方面，我们研究了基于模板的姿态识别算法，并针对反馈学习运动匹配问题，提出了一种反馈学习运动捕获数据检索方法。在运动相似性匹配问题方面，提出的改进的匈牙利匹配算法以用于实际检索系统；⑷ 设计了三维运动检索的整体框架并搭建了测试评估的示范系统。研究了基于Kinect传感器的运动检索框架体系。在基于图模型的人体运动检索整体框架方面开展了研究，提出了基于权重图匹配方法。在其他的运动检索框架方面，探索了基于关键帧及动态贝叶斯网络框架下的运动数据检索系统以及基于语义词典的运动检索框架，并验证了算法效率。