基于稀疏低秩建模的人体运动分析与合成研究

Human motion capture data, as important data driven of virtual reality, has been widely used in many fields. However, precise human motion capture is complex and even with the highly professional motion capture devices, the captured data inevitably contains missing joints. Besides, professional motion capture devices are very expensive and hard to operate.. Low-rank completion theory has been widely used to solve the data missing problem. In fact, low rank is a property of linear data, but motion data is typically nonlinear, so these methods lack theoretical guarantee. Therefore, this project will propose a nonlinear low-rank matrix completion method to better solve motion data recovery problem.. Motion synthesis is an effective way to solve the high-cost problem of motion capture, but the control of the existing motion synthesis methods is complex and synthesized contents are limited. In terms of these problems, this project will follow the process of conventional animation production and propose a keyframe-editable motion synthesis method. We will focus on implementing the adaptive motion interpolation between different poses by building the relation between motion frame dictionary and motion pattern dictionary.This method is easy to operate and can synthetize new motion data with diverse contents. In general, this method will promote the wide use of the motion capture data.

人体运动捕获数据作为虚拟现实的一种重要驱动，已在众多领域得到应用。但运动捕获十分复杂，即使专业设备也难免会出现关节数据丢失的现象，而且专业设备价格昂贵，操作流程也非常繁琐。 . 低秩恢复理论已被广泛地用于解决数据丢失的问题，但低秩是线性数据的一种特性，而运动数据是一种典型的非线性数据，所以这些方法缺乏理论上的依据。因此，本项目旨在提出一种非线性低秩恢复方法，更有效地解决运动数据的恢复问题。. 运动合成是解决运动捕获高成本问题的有效手段，但现有算法的控制方式复杂，合成内容有限。针对该问题，本项目将遵循传统动画制作流程，拟提出一种关键帧可编辑的运动合成方法，重点研究通过构建运动姿态字典和运动规律字典之间的关系，实现不同姿态间的自适应插值。该方法不仅操作简便，而且可以生成内容丰富的运动数据，对运动捕获数据的普及使用具有一定的推动作用。

虚拟现实技术的发展，使得以人体运动数据驱动的众多应用，如特种训练、动画电影、仿人机器人等,给用户带来了震撼的视觉体验。但高精度的3D运动捕获代价昂贵，对捕获环境要求严苛；2D图像和视频作为最常见的运动数据的承载和展示形式，其生成的过程也容易受到超现实题材和演员使用成本的限制。运动合成技术作为解决运动数据使用高成本问题的有效手段，因而引起了广泛的研究关注。.本研究从当前的研究热点和应用需求出发，分析运动数据特有的性质，结合机器学习领域非线性特征学习与处理的优势，开展了三类相关的研究内容：.（1）基于稀疏子空间学习的运动建模方法研究。该研究利用非凸的低秩核学习、三角约束和组稀疏正则化对运动数据的非线性、时序连续性以及可插值性进行了有效地建模，提取了准确的运动特征，并成功解决了运动分割和关键帧提取的任务。相关研究成果已发表在了IEEE Transactions on Image Processing和IEEE Transactions on Neural Networks and Learning Systems上。.（2）基于首尾帧和运动规律的运动合成研究。该研究针对现有运动合成算法可控性较弱的缺陷，仿照传统动画制作原理，以运动首尾帧为模型输入，生成运动规律并重构出运动序列。用户便可以通过编辑关键帧的方式控制运动合成，有效增加运动合成过程的可控性和合成内容的丰富性。相关研究成果已经发表在IEEE Transactions on Industrial Informatics 和Information Sciences上。.（3）运动姿态驱动的2D运动合成研究。该研究将2D运动合成转化成以运动姿态为条件的图像生成问题。借助于深度神经网络强大的图像生成能力，并引入人体区域分割图等辅助输入特征，有效地解决了现有方法存在的生成图像轮廓不准确、细节不可靠、纹理模糊等问题。相关研究成果已经发表在IEEE Transactions on Circuits and Systems for Video Technology 和IEEE Transactions on Cybernetics上。.综上所示，本研究解决了运动数据合成领域中的一些重要问题，初步形成了一套运动数据分析与合成的模型框架，为后续研究打下了一定的基础。