面向室内场景的机器人智能三维感知技术研究

Recently, the significant progress made in artificial intelligence, together with the fast development of visual sensing, especially 3D sensing, techniques, make the newly developed robots more powerful in terms of sensing and understanding. This opens new opportunities for fast and accurate 3D environment sensing and modeling. Based on 3D geometry processing and analysis techniques, this project aims to study 3D reconstruction and analysis methods tailored for robot platform. We wish to fully exploit the prominent feature of autonomous action of robots, to achieve autonomous, intelligent 3D sensing of indoor environment. The output include not only high-quality reconstruction of the indoor scene but also detailed structural analysis over the scene. First, we would propose a general framework of intelligent 3D sensing suited for robot platform. Under such framework, we plan to study pro-active interaction based scene reconstruction and understanding conducted by a single robot, as well as cooperative 3D sensing method with multiple robots.

近年来，在人工智能技术取得长足进步，各种视觉传感技术，特别是三维感知技术快速发展等因素的推动下，新型机器人逐渐具备了更为强大的感知与理解能力，为快速、准确的三维场景重建与理解开创了新的渠道。本项目以三维几何处理和分析为核心，旨在研究适用于机器人平台的三维重建和分析方法，并充分利用机器人的自主行为能力这一特点，实现机器人对未知室内环境的自主化、智能化三维感知。其输出既包括对室内场景的高质量三维重建，又包括对场景结构的精细化分析和理解。项目拟首先研究面向机器人平台的智能三维感知框架。在此框架下，研究面向单机器人的主动交互式场景重建和理解，以及基于多机器人的协同化智能三维感知。

本项目以三维几何处理和分析为核心，旨在研究适用于机器人平台的三维重建和分析方法，并充分利用机器人的自主行为能力这一特点，实现机器人对未知室内环境的自主化、智能化三维感知。其输出既包括对室内场景的高质量三维重建，又包括对场景结构的精细化分析和理解。项目研究了面向机器人平台的智能三维感知框架。在此框架下，研究面向单机器人的主动交互式场景重建和理解，以及基于多机器人的协同化智能三维感知。项目在三维数据获取与分析的紧密耦合、数据驱动的智能三维感知框架、基于机器人主动交互的三维感知过程、多机器人的智能化、协同感知等关键科学问题上取得了重要突破。..项目严格按照各项计划执行，达到了各项指标。共发表CCF推荐的A类期刊/会议论文30篇。申请专利6项，授权专利3项。为领域贡献了两个大型公开数据集。有两项技术在部队单位和地方企业成功应用和转化。包括面向数字化发射场的数据驱动的语义化三维重建系统，以及面向在线虚拟室内设计的数据驱动三维家具风格分析与推荐系统。培养优秀博士毕业生4名。承担项目期间，项目负责人新晋担任计算机图形学顶级期刊ACM Transactions on Graphics的编委（Associate Editor）。获国家优秀青年基金，湖南省杰出青年基金。获中国工业与应用数学学会“几何设计与计算青年学者奖”、“湖湘青年英才奖”。