室内场景图像的分析理解和三维重建及模拟技术研究

The project focuses on researching systematically the key issues involved in indoor scene understanding, 3D reconstruction, and realistic simulation. In detail, we will first study how to estimate the depth information given a single indoor image taken by a cellular phone or a digital camera, by combining deep learning and the classical machine learning techniques. The depth is optimized by taking into account the image features. Then we leverage deep learning, coupled with Conditional Random Fields, to realize semantic segmentation and improve the accuracy by using the features extracted by deep learning and image features. We will research how to reconstruct the 3D models of objects as well as indoor scenes in a data-driven manner and how to refine the 3D models using image information. We will also develop a material scanner and accordingly build a material database, based on which the data-driven methods for recommending textures and materials for 3D models and indoors scenes will be developed, for simulating realistic 3D indoor scenes.

本项目拟围绕室内场景分析理解和建模模拟所涉及的关键、核心问题展开系统性探索，具体包括: 在室内场景的分析和理解方面，针对手机或数码相机实拍的单张室内场景图像，研究基于深度学习方法结合经典学习理论的场景深度估计方法，探索图像特征等信息指引的深度优化；探索采用深度学习结合条件随机场建模的方法实现深度图像的语义分割，结合深度神经网络所提取的特征和图像特征提升语义分割的精度。在室内场景的几何建模和真实感模拟方面，借助语义分割结果，以物体多维信息为基准，研究数据驱动的物体三维重建方法，探索图像引导的模型优化方法，研究并构建一个材质扫描仪，构建室内场景纹理材质数据库，研究数据驱动的物体和场景模型颜色和纹理材质属性建模和推荐方法，模拟生成真实感的三维室内场景。

项目围绕室内场景分析理解和建模模拟所涉及的关键核心问题开展了深入、系统的探索。首先，提出在极坐标域下，利用不完整的场景深度信息估计场景法向图的方法，在网络设计中引入基于置信度的语义注意力模块，能够在补全深度的同时得到完整场景深度图，从而有助于室内场景建模模拟；进而在目标检测识别和语义分割等室内场景智能重建的基础方面，提出了基于图像多标签上下文信息的目标检测，可显著提升一二阶段检测器的性能，进而提出基于点注意力网络的点云语义分割方法，设计了基于点的注意力模块和基于特征的注意力模块来显著提升语义分割网络的效果；进而，提出基于单张输入图像，数据驱动的室内场景语义建模方法，以三维数据库为支撑，迭代地进行物体分割和三维模型检索，不断优化结果直至收敛到稳定状态，进一步探索了基于单张室内场景图像的三维模型检索和基于室内场景上下文模拟的室内场景三维模型检索方法；最后，材质是物体表面的关键物理属性，课题组提出多种材质建模和编辑方法，在此基础上提出采用数据驱动的方式为室内场景自动着色的方法，通过从图像中学习场景中物体表面的材质分布及不同物体间材质的搭配关系，实现了对三维建模场景的自动颜色和材质推荐。此外，为了促进本项目后续研究及领域相关研究的开展，课题组正在搭建大规模激光雷达三维场景点云数据集，研制三维场景智能重建系统，目前均已取得较好进展。..基于以上研究进展，给定一张输入图像，通过简单交互或智能理解，既能完成对场景的三维重建，可高度真实地还原现实场景。报告研究成果的论文发表于计算机图形学、视觉顶级会议ACM Siggraph、CVPR、ECCV和顶级刊物ACM TOG, IEEE TVCG等，申请多项发明专利，引起较好学术反响。项目研究成果可应用于虚拟和增强现实、元宇宙等，服务于智慧家庭、智能家居、数字办公和数字人文等。另外，通过项目研究，课题组培养硕士和博士研究生多人，为社会贡献了有用人才。课题组圆满完成了项目研究。