基于运动跟踪的民间表演技艺三维重建关键技术研究

The background of this project is the inheritance and digital protection of intangible cultural heritage of Tujia nationality's folk performing skills. The 3D reconstruction of inheritors’ performance skills is taken as the breakthrough point to explore 3D reconstruction method of performance skill based on data fusion. The project integrates the folk performance and information science closely. We use micro-sensor to capture the environmental data and motion data. We research this data to bring data fusion into estimating framework of dynamic Bayesian networks. And we format the two-sensor information fusion theory about human movement. We propose a hierarchical virtual modeling method of obtaining and representing human motion according to the movement features of human joints and biodynamic through body 3D geometric modeling. We present a gait algorithm for human bodies based on boundary conditions in accordance with the gait analysis method and kinesiology theory. Based on the feature of cloths in folks performing, one realistically cloths animation algorithm was proposed, which uses the mass-spring model to implement exact continuous collision detection based on geometric computing paradigm. And it uses implicit constraint to simulate exactly cloths in movement. According to 3D reconstruction models, the project will implement 3D virtual representation of folk art intangibles cultural heritage of Tujia nationality, which will verify the models and algorithms in our project.

本项目以土家族民间表演技艺的非物质文化遗产数字化保护与传承为基本背景，以传承人表演技艺三维重现为切入点，紧密结合信息科学（计算机图形图像处理、虚拟现实技术）与民间表演艺术，通过微型传感器运动捕捉采集的环境数据和运动数据，采用基于动态贝叶斯网络的多传感器数据融合技术，形成人体运动获取两级传感器信息融合的框架，探索人体模型与服饰运动的数据融合，研究基于隐式约束的逼真服饰运动模拟方法和基于几何计算范式的快速连续碰撞检测算法的逼真服饰模型。从人体三维几何建模入手，基于人体关节的运动特征，以生物动力学为基础，提出一种基于人体运动获取和再现的层次化虚拟建模方法；根据步态分析方法和人体运动学理论，提出基于边界条件的人体步态运动算法；根据表演技艺中的服饰特点，提出一种基于质点-弹簧模型的具有连续碰撞检测的服饰动画算法，实现民族表演技艺的三维重建；最后以土家族表演技艺为例，验证项目提出的相关模型与算法。

本项目以土家族民间表演技艺非物质文化遗产为例，建立民间表演技艺非物质文化遗产的数据采集技术方法，对情景建模和动作绑定技术、虚拟人建模技术、虚拟重现技术、连续碰撞检测技术等进行综合分析研究，构建土家族民间表演技艺非物质文化遗产传承人的多媒体三维虚拟交互平台。最后以“摆手舞”、“肉连响”等土家族民间表演技艺非物质文化遗产为例，全面展示土家族传承人表演技艺的三维虚拟再现，给民间传承技艺抢救保护和研究工作提供新的手段和方法，因此具有重要的科学研究意义。.项目首先引入“堆叠沙漏”网络模型，网络捕捉了静态图像中的所有尺度信息来预测人体的动作姿态。为了解决视频中由于摄像头角度而引起的行为人关节的遮挡问题，提出了一种面向视频的2D行为人姿态估计的自适应框架模型，构建由Batch normalization，dropout，Relu以及残差连接组成的二维骨骼三维化网络模型，实现从二维骨架结构到三维立体结构的转换。.项目采用手工标注图片数据和利用图像算法自动合成仿真图片数据相结合来生成土家织锦图案分割数据集，提出了一种基于Octree的土家织锦图案主颜色提取模型，将土家织锦图案分割成不同的图形骨架，根据纱线组织结构利用三次卷积插值算法实现基于土家织锦图案颜色分类的土家织机外观模拟。项目组还开展了质点-弹簧模型的民族服饰运动模拟研究，实现了基于土家织锦的民族舞蹈服饰运动模拟。.项目采用基于自编码的卷积神经网络进行人物动作的学习，用于实现快速采集动作过程中由于遮挡造成的采集数据不连续、数据丢失的修补，并且实现不连续动作之间的插值。并开展民族传统舞蹈技艺动作虚拟展示，实现了民族舞蹈运动的合成编辑、民族舞蹈场地三维虚拟和三套具有武陵山区特色的民族舞蹈的三维虚拟展示。