面向立体全景个性化体验的人体姿态三维实时深度估计与同步重构

In view of the problem that the invalid processing of large scale complex point cloud, the slow indirect mapping between relationship on posture estimation, the lack of personality on posture reconstruction model when 3D human posture estimation and reconstruction is studied, based on the background of stereo panoramic personalized experience, the project will propose the method combining deep reinforcement learning with conformal transformation to research on real-time 3D human posture depth estimation in real world and simultaneous reconstruction on human posture in virtual environment based on point cloud model. To solve the problems of the difficulty on target location and the slow iteration speed when traditional method is applied, 3D human posture is estimated using the direct mapping method of auto-encoder and deep reinforcement learning based on RGBD images. To overcome the defects of invalid on large scale holes containing complex shape and excess simplification when traditional method is applied, the point cloud is repaired and simplified using the method combining point cloud registration based on probability product kernel function with local estimation on normal vector. Based on posture estimation and point cloud processing, 3D virtual human posture is reconstructed using the new method combining skeleton with conformal transformation in order to rectify the shortcomings of the delay on posture reconstruction and lack of personalized human reality when traditional method is applied. The project has an important significance in clarifying the mapping mechanism between RGBD image and human posture, distribution of point cloud data, revealing the change regulation between personalized human model and limb posture, and will establish theoretic and technical foundation for stereo panoramic personalized experience.

针对人体姿态三维估计与重构在大规模形状复杂点云处理失效、姿态估计关系间接映射慢、姿态重构模型个性化不足等问题，本课题拟以立体全景个性化体验为背景，提出深度增强学习与共形变换结合，研究现实世界中人体姿态三维实时深度估计与虚拟环境中基于点云模型的人体姿态同步重构。基于RGBD图像，采用自编码器与深度增强学习的直接映射方法研究三维人体姿态估计，解决传统方法定位目标困难和迭代速度慢的问题。用基于概率积核函数点云配准与局部法矢估计的方法研究点云修补与精简，克服传统方法对大规模复杂孔洞失效和精简过度的缺陷。基于姿态估计与处理点云，利用模型骨架与共形变换结合的新方法研究三维虚拟人体姿态重构，弥补传统方法在姿态重构滞后和缺乏个性人体真实感上的不足。本课题对阐明RGBD图像与人体姿态间的映射机制、点云数据的分布规律，揭示个性化人体模型与肢体姿态间的变化规律有重要意义，为立体全景个性化体验奠定理论和技术基础。

项目背景.作为一种可以创建和体验虚拟世界的计算机仿真系统，VR产业成功的关键是用户在虚拟场景中是否感受到逼真的体验效果。传统的VR技术利用简单人体模型或卡通人物对用户动作进行模拟，严重影响了用户对虚拟场景的真实体验和参与感。另外，目前市面上的PC级头显和VR眼镜利用用户的主视角进行操作与显示，极容易产生眩晕感；操作时间与视角受限，影响了虚拟体验效果。为改善视角受限的问题，VR领域出现了全景体验的概念。该技术是通过对相机360度旋转拍摄的二维照片进行拼接以形成场景，再利用虚拟全景技术实现立体感受，这并非真正意义上的立体全景，其在展示中缺乏空间真实感。因此，急需增强第三视角VR的个性化体验度，提升用户的参与感。.研究内容与重要结果.针对人体姿态三维估计与重构在大规模形状复杂点云处理失效、姿态估计映射慢、姿态重构模型个性化不足等问题，本项目以立体全景个性化体验为背景，对现实世界中人体姿态三维深度估计与虚拟环境中基于点云模型的人体姿态重构进行了研究。基于不同角度人体部位特征点匹配的图像配准，提出一种局部特征与轮廓估计相结合的个性化人体三维点云生成，可以很好地克服传统方法点云处理实时性差以及精度过低的缺陷。为了克服传统方法定位与迭代速度缓慢的问题，基于序列初始帧的不同关节点标定，提出一种基于透视投影的不同关节点依赖对应与空间关系定位，用于三维人体姿态的实时深度估计。在目标人体姿态与点云处理基础上，为了克服实时性的缺陷，提出骨架与共形变换相结合的方法重构三维虚拟人体姿态，结果表明人体姿态重构保证准确度的同时，其肢体姿态的真实感也令人满意。.关键数据及科学意义.由摄像头采集得到的人体不同姿态视频与图像，以及现有的人体姿态数据库成为构建基于透视投影的不同关节点依赖对应与空间关系定位，并用于三维人体姿态深度估计的关键数据。另外，根据局部特征与轮廓估计相结合，建立得到的个性化三维人体虚拟点云模型，是三维人体姿态同步重构的关键基础数据。本项目的实施对阐明RGBD图像与人体姿态间的映射机制，揭示个性虚拟人体与肢体姿态间的变化规律有重要意义，为虚拟现实与全景个性化体验提供理论基础和技术支持，具有重要的科学意义。