实时便携大范围多人带拓扑变化的动态场景三维重建方法研究

Real-time dynamic scene reconstruction is a hot research topic in the field of computer vision. The traditional scene reconstruction algorithm is mainly for offline, rigid, single-person, fixed, small-scale, and topologically unchanged simple application scenarios. It is difficult to deal with real-time, non-rigid, multi-person, portable, large-scale, complex with topology changes. Application scenario. This topic will first build a camera hardware platform for portable followers; on this basis, model a large number of non-rigid motion fields with topological changes and design robust parameter estimation strategies; finally, the design is applicable to The real-time nonlinear optimization strategy of GPU parallel acceleration realizes real-time and convenient multi-dimensional three-dimensional reconstruction of dynamic scenes with multi-layer topology changes. This project will provide new ideas and methods for real-time and convenient dynamic scene 3D reconstruction, and provide reference measurement solutions for holographic communication, orbital aerospace shape measurement applications.

实时动态场景重建是计算机视觉领域的热点研究问题。传统的场景重建算法主要是面向离线、刚性、单人、固定、小范围、拓扑结构不变的简单应用场景，难以应对实时、非刚性、多人、便携、大范围、带拓扑结构变化的复杂应用场景。本课题将首先搭建便携可跟随人员拍摄的相机硬件平台；在此基础上，对大范围多人带拓扑结构变化的非刚性运动场进行建模，并设计鲁棒参数估计策略；最后，设计适用于GPU并行加速的实时非线性优化策略，最终实现实时便捷大范围多人带拓扑结构变化动态场景三维重建。本项目研究将为实时便捷动态场景三维重建提供新的思路和方法，并为全息通信、在轨航天员形貌测量等应用提供参考测量方案。

本项目以设计实时便携大范围多人带拓扑结构变化的非刚性场景重建系统为目标，设计便携相机硬件平台，能够对大范围、多人等应用场景进行实时动态场景重建。具体研究成果包括：搭建了实时便携大范围多人带拓扑结构变化的非刚性场景重建系统，提出了一种基于跨视角匹配的多人3D姿态估计方法，设计了一种自底向上的实时多人3D姿态估计方法，实现了一种基于隐式表达的三维人体模型重建方法，同时构建了一种应用于多人交互场景的三维虚拟人物再现系统。总结起来，在该项目支持下，共发表了12篇学术论文，授权专利5项，培养了多名研究生，部分研究成果已被应用于天宫二号、空间站人体姿态测量系统中，获得了全国发明展览会发明创业奖金奖、“创新杯”国防科技创新大赛一等奖、北京发明创新大赛金奖。