面向开放环境的三维人体姿态跟踪方法研究

3D human pose tracking has various potential applications including human-computer interaction, surveillance and virtual reality etc., which has attracted substantial attention. The existing methods have made quite impressive progress in indoor well-controlled environments, however they cannot adapt videos taken in outdoor uncontrolled settings. In outdoor environments, backgrounds are more complicated, human motion are more diverse, and it is hard to acquire ground truth 3D pose for training. Considering all these challenges, this project will develop a robust method for 3D pose tracking in-the-wild. The main research contents include: (1) Modeling the spatial structure of 3D human pose, to study the inter-relationship of depth estimation and 3D human pose estimation, building the model for human pose estimation, to improve the accuracy; (2) Modeling the temporal motion of 3D human pose, to study the interactions of joints in motion, building the motion model of human pose, to present smooth and plausible trajectories; (3) Adaption from indoor to outdoor environments, to learn the shared space of features of two different domains, designing the classifier for adaption, to achieve robust transfer of tracking models. This study will enrich and improve the basic theory and methods of 3D human pose tracking, and will provide technical solutions for reference to boost its applications.

基于视频的三维人体姿态跟踪在人机交互、安全监控以及虚拟现实等领域有着广泛的应用。现有的方法在室内可控场景下取得了长足的进展，但难以适应室外开放环境下拍摄的视频。归咎于在开放环境下，场景更加复杂、人体运动更具多样性、难以获取带真实值的三维人体姿态数据库用于训练等因素。针对这些难点，本项目拟研究一种对开放环境鲁棒的三维人体姿态跟踪方法。其具体研究内容包括：（1）三维人体姿态空域结构建模方法，研究场景深度与三维人体姿态间的互补关系，建立人体姿态估计模型，提高人体姿态估计的精度；（2）三维人体姿态时域运动建模方法，研究人体各关节运动的相互作用关系，建立人体姿态动态模型，给出平滑的人体姿态运动轨迹；（3）室内环境到开放环境自适应方法，学习两个域共享的特征空间，设计自适应的分类器，实现跟踪模型的鲁棒迁移。本项目研究将丰富和完善三维人体姿态跟踪的基础理论和方法，为推广其应用提供可借鉴的技术方案。

开放环境下的人体姿态估计结果对上游的其他计算机视觉任务，比如人体动作识别、行为理解等，有着重要的作用。本项目研究涵盖了遮挡人体姿态的鲁棒感知方法、人体姿态的高效估计方法、人体姿态估计在个体异常行为检测中的应用等主要内容。研究了遮挡人体姿态的鲁棒感知方法。现有的方法一般将所有关键点的置信度平均数值作为该姿态的打分，由于遮挡关键点的检测置信度一般很低，因此带遮挡的人体姿态往往会取得较低的打分，从而难以被检测到。该工作中提出了在检测人体姿态的过程中同时学习姿态的得分，从而可以为每一个检测到的人体姿态给出合理的打分，鲁棒检测到遮挡的人体姿态。研究了高效的人体姿态估计方法。人体姿态估计需要从图像中获取每一个关键点对应的语义并且定位关键点。为了获得准确的检测结果，现有基于深度神经网络的方法接收高分辨率的输入，随着网络的加深，逐渐降低特征的分辨率并获取语义。另一方面在网络中保持或复制低层的高分辨率特征来维持位置精度。该工作提出了直接从低分辨率的输入中获取语义，而用另外的浅层网络处理高分辨率特征，通过融合特征来获取语义准确且保持位置精度的特征，从而提高人体姿态估计的效率。研究了基于人体姿态预测的异常行为检测方法。该方法对未来人体姿态进行预测，通过比较预测得到的人体关键点坐标与实际检测值，判断对应人物是否处于异常行为中，同时获取异常事件的发生位置及发生原因等语义信息；由于人体姿态信息是非欧式数据，该方法采用图卷积神经网络进行姿态预测，充分利用该网络强大的表达与泛化能力来提升预测性能；由于目标检测、人体姿态估计算法的进步以及运动分解方法的使用，该方法对较小的人物、光照变化和复杂背景等干扰因素都具有较好的鲁棒性。综上所述，系列研究成果将为图像中人体姿态的高效、鲁棒检测，以及在人体异常行为检测上的应用等研究提供一定的理论和技术支持。