基于自然交互的人体运动捕获数据实时检索与生成

Motion capture (MoCap) technology is widely used in many fields including film production, video game development, interactive virtual reality and so forth. In order to better reutilize the existing data, the efficient retrieval and generation of the MoCap data has become a hot research topic in the field of computer animation. Due to the complexity of human motion itself, the present approaches of modeling human motion data are insufficient in the aspects of high level semantic feature extraction and complex motions expression. In addition, current systems of motion capture data processing often use one of the following ways, such as text, sample, sketch and invasive sensors, to express the requirement of retrieval or generation. Such interactive modes are unnatural and inconvenient. Considering the existing problems, this project uses Kinect as input device, and the user’s performance acts as query sample to retrieve the similar MoCap data in the database, or drive the generation of new human motion data in real time. This project employs deep learning and cognitive computing technology to deal with the problems of the human motion capture data retrieval and generation, so as to explore new methods for high-level semantic representation of human motion capture data, and finally on this basis to put forward retrieval and generation algorithms with efficiency and accuracy.

运动捕获技术已经广泛应用于影视制作、游戏开发、交互虚拟现实等诸多领域。为了更好地重用已存在的数据，对运动捕获数据进行高效地检索与生成是目前计算机动画领域的研究重点。由于人体运动本身的复杂性，现有的人体运动数据建模方法对高层次语义的抽取以及复杂运动的表达能力尚显不足。另外，目前运动捕获数据处理系统往往通过文本、样例、草图或侵入型传感设备表达检索或生成要求，交互方式不够自然、方便。针对以上问题，本项目提出用Kinect作为输入设备，用户表演的动作作为查询样例去数据库中检索相似的运动，或实时驱动新的人体运动数据生成。本项目拟将深度学习与感知计算技术引入到人体运动捕获数据检索与生成问题中，以探索人体运动数据的高层次语义表示方法，并以此为基础，提出兼顾高效性与准确性的检索与生成算法。

运动捕获技术已经广泛应用于影视制作、游戏开发、交互虚拟现实等诸多领域。为了更好地重用已存在的数据，对运动捕获数据进行高效地检索、识别与生成是目前计算机动画领域的研究重点。由于人体运动本身的复杂性，现有的人体运动数据建模方法对高层次语义的抽取以及复杂运动的表达能力尚显不足。我们提出了一种基于深度哈希的运动捕获数据检索方法，该方法首次将哈希码的深度学习引入到运动捕获数据检索的解决方案中，通过将三维骨架序列转换成基于多通道图像的表示，分别反映关节的空间分布、运动特征和相关性；然后，构建在分类层之前添加哈希层的VGG网络；通过同时最小化由分类误差和对散列码的约束所定义的损失函数，所学习的紧凑二进制散列码能够获得良好的鉴别能力和平衡的比特分布，有效提高了运动捕获数据的检索精度和效率。同时，我们提出一种结合图卷积和BERT的运动识别算法，利用图卷积神经网络学习人体运动的关节空间特征，进而指导注意力机制建模运动序列的时间特征，有效提高了运动捕获数据的识别精度和效率。未来，我们打算将深度哈希检索算法应用到跨模态的运动数据检索中，在已提出的运动识别算法基础上添加解码器应用到运动数据生成问题中。本项目为利用深度神经网络对运动捕获数据进行特征挖掘提供了研究思路，并对运动捕获数据如何更好地重用具有较高的参考价值。