基于深度增强学习与知识驱动的高效人体姿态估计

Along with the rapid development of virtual reality, augmented reality and intelligent robotics industry, the solving of the basic problem human pose estimation is becoming increasingly urgent. This project studies on some key techniques about human pose estimation. We mainly focus on solving the following key problems: (1) We propose a deep reinforcement learning framework to handle occlusion and complex background problems. (2) Some priors of environment and action related with pose are studied by building the datasets of environment-pose interaction and 3D model action. With those priors, we expect to improve human pose estimation performance in a knowledge driven manner. (2) We design a new computation-adaptive recurrent neural network to enable fast human pose estimation in video. By making use of the coherence property of human pose among frames, this network can adaptively reduce the computation in frames. This project is expected to promote the development of virtual reality and augment reality techniques and related applications in digital entertainment, intelligent manufacturing, smart shop and the other intelligent applications. It has great significance on both theory and application.

近年来，虚拟现实、协作机器人、智能家居等产业迎来井喷式发展，其中的基础问题“人体姿态估计”的解决也变得日益迫切。本项正是围绕人体姿态估计中的若干关键技术展开深入研究。拟开展的研究工作主要包括以下三方面：1）研究在深度增强学习理论框架下排除遮挡物和复杂背景对人体姿态估计的影响，从而提高估计准确率； 2) 研究“人体-环境”交互（如车里，游泳池里）与“动作”（如坐，走，投篮）对人体姿态的先验性指导，并建立与编辑“人体-环境“互动案例和三维动作模型知识库，通过知识驱动的方法建立“环境”-“动作”-“人体姿态”联合估计函数，进一步提高人体姿态估计准确率； 3) 研究计算量自适应递归网络，该网络能根据帧间姿态的关联程度自适应地减小单帧估计计算量，从而实现高效视频人体姿态估计。本项研究可望在虚拟现实数字娱乐、人机协作智能制造、智能商店（如亚马逊go）等人工智能领域中得到应用，具有重大理论研究和实际应用

本项目围绕人体姿态估计中的若干关键技术展开深入研究，主要研究三个主要问题：1）人体遮挡与复杂背景干扰问题；2）知识驱动人体姿态与行为理解问题；3）视频中的快速实时估计人体姿态。本项目从人体姿态与环境的关系入手，以深度学习为研究手段，提出了多人复杂环境下的实时姿态估计新框架。并在项目执行过程中，根据最新研究和产业发展趋势，扩充研究了三维人体姿态估计、人类行为理解、人类-物体交互等新问题。围绕这些问题取得了如下的主要理论和工程成果。..针对复杂环境下多人人体姿态估计，本项目提出了一种基于候选点的算法，建立人体-关键点连接图，将候选框和候选点作建立成图的节点，用候选点的权重作为连接图的边的权重。通过最大化全局图的分数，有效提出错误的连接权重，从而有效估计拥挤环境下的多人人体姿态估计问题。..针对实时人体姿态跟踪任务，本项目提出一种自顶向下的姿态跟踪框架，和一种以流为单位的非极大值抑制算法，有效帮助姿态流的稳定性以及对抗漏检误检问题，整体实现实时的人体姿态在线跟踪。..此外，本项目将二维人体姿态估计问题扩展到三维，提出了一种基于多层级人体次序的学习算法与集成网络，由粗到精地指导模型学习三维信息，大幅度提升了多人场景下三维人体姿态估计的性能。在人类行为理解方面，本项目构建了大规模人类行为知识引擎，通过人体部位行为状态识别人体局部细粒度语义表征。在人-物交互方面，本项目设计了一个联合学习框架和一系列有关跨模态一致性的任务，建立了对人体-物体交互的多模态联合表征，取得了稳定的检测效果。..以上述成果为基础，本项目实现了部分成果的产业化，在华为、商汤、OPPO、上海眼控等公司产品中作为核心技术得到落地，获得了巨大的社会与经济效益。.