多视图人体姿态可信估计方法及应用

Human pose estimation is an important research topic in graphics, animation and vision. This project aims at developing multi-view based reliable methods for human pose estimation and tracking, integrating spatial, temporal and depth information in images based on deep neural networks. It pursuits reliable tracking results that can be applied to many practical scenarios, such as human-computer interaction, video surveillance, sport analysis, virtual realisty, gaming control, public security, and so on. .The main innovations and technical novelty of this project are as follows: proposes a visual tracking method at the feature layer based on deep neural networks, achieving improved accuracy and efficiency for human pose estimation; proposes a human pose tracking method based on LSTM networks; proposes an augmentation method and a label transfer method for human pose training dataset; proposes a novel representation for human pose, and decouples pose representation from labelled training dataset; proposes a multi-view estimation framework for human pose based on twined deep neural network, which combines multi-view stereo matching and re-projection error to obtain reliable 3D results and improved accuracy.

人体姿态估计是图形学、动画和视觉等领域的热点问题。本项目旨在研究多视图可信的人体姿态估计与跟踪方法与应用；融合空间信息、时序信息、深度图像信息等，采用深度神经网络的方法，实现快速鲁棒的姿态估计与跟踪。项目追求可信的人体姿态估计，研究成果可应用于人机交互、虚拟现实、游戏控制、运动员动作分析、视频监控、以及公共安全等众多场景。.项目的主要创新点有：基于深度神经网络提出特征层的视觉跟踪方法，提高人体姿态跟踪的效率；提出基于LSTM网络的人体姿态跟踪技术；提出人体姿态数据集的标注迁移和一致化方法；提出人体姿态的几何表示模型，解除人体姿态训练数据库和姿态表示模型之间的依赖关系，提高姿态跟踪算法的鲁棒性和效率；提出基于孪生网络结构的多视图三维人体姿态估计方法，结合多视图立体匹配重投影误差度量，提高算法的可靠性和精度。

从图像和视频流中获得三维人体姿态是热点研究问题，有着许多的重要应用。本项目围绕着人体姿态问题，从数据集构建、网络结构、特征提取，信息融合等方面深入研究，实现快速鲁棒的姿态估计与跟踪。项目完成了以下4个方面的研究内容：（1）研究了人体姿态估计问题，包括2D人体关键点检测、2D人体姿态估计，3D人体姿态估计，单人人体姿态估计，多人人体姿态估计，以及人体姿态和运动的优化估计问题。（2）研究了人体姿态估计中高效的端到端深度神经网络结构，包括LSTM，CVAE，Transformer，Attention等等，针对人体关键点检测中的多视图问题、时空一致问题、运动遮挡问题、骨架结构几何约束问题，从精度和鲁棒性等方面提高了人体姿态估计可信度。（3）研究了人体几何模型重建和动作捕捉系统，包括基于注意力机制，融合多模态输入的单视图人体几何模型重建及动作捕捉，基于Transformer的人体几何模型重建方法。并基于运动捕捉系统，构建了三维人体姿态数据集。（4）研究了数字人的采集和建模问题，包括轻量级的数字人采集系统，数字人几何重建和材质计算方法，4D动画采集和跟踪算法，以及形状基构建算法和基于形状基的动画方法。项目的研究成果可归纳为以下4 个方面：（1）人体关键点检测和姿态估计方法，包括针对图像的人体关键点检测和姿态估计方法，面向视频流的基于LSTM的人体关键点检测和姿态估计。（2）三维人体姿态估计方法，包括一种基于两视图的实时三维人体姿态估计方法，两种基于多视图的多人三维姿态估计方法，一种基于鱼眼镜头的实时人体姿态捕捉方法，基于物理的三维人体姿态优化方法，以及基于CVAE的三维人体姿态估计与优化方法。(3) 人体几何模型重建和动作捕捉方法，包括一种融合多模态输入的单视图人体几何模型重建及动作捕捉方法，一种基于Transformer的三维人体姿态和形体估计方法。（4）数字人几何和材质建模方法，包括一种基于孪生网络的多视图三维人脸重建方法，一种高精度三维人脸几何重建和材质恢复方法，一种头部姿态面部表情动画跟踪方法，一种人脸表情基生成算法。项目研究成果发表在国内外学术会议和期刊上，并被一些同行学者引用。