三维场景理解中的高阶能量优化理论与方法研究

This project is intended to explore appropriate higher order models in random fields to better express qualitative and statistical knowledge about the scene, and effective inference methods to simultaneously improve the ability of 3D scene understanding and to complete 3D shapes under a unified framework by integrating 2D images and the corresponding 3D point clouds. In this project, 3D understanding is meant to segment and recognize objects, to determine object’s pose, and to complete incompletely reconstructed object shapes etc. Here design appropriate higher order models and establish effective inference methods for 3D scene understanding are the core issues. The project’s main contents include the following 4 parts: (1): Design appropriate higher order models for 3D scene understanding; (2): establish effective inference methods for higher order energy minimization; (3): investigate the relationship between higher order model and hierarchical networks，such as Deep Neural Networks ( DNN) ;(4): GPU+CPU mixed fast implementation schemes. The expected outcome is a comprehensive theory and method for higher order models design and effective inference in 3D scene understanding, as well as some fast algorithms. In addition, the project’s results are expected to find real applications in some specific domain. Finally, this study will enrich 3D scene understanding research and promote its further development.

本项目旨在研究探索如何通过在随机场中引入合适的高阶能量模型来有效表达关于场景的定性和统计先验知识，将二维图像与三维点云统一在同一能量优化框架下，同时提高三维场景理解能力和三维物体重建精度的理论和方法。本项目的三维场景理解包括物体分割与识别、物体定位、物体三维形状完整化等内容。设计合理的高阶能量模型和建立有效的高阶能量优化算法是本项目的关键问题。 本项目的主要研究内容包括以下四方面：（1）：三维场景理解中的高阶能量有效表达问题；（2）：含高阶能量项的快速能量优化方法；（3）：高阶能量模型与层次化网络模型之间的关系, 如深度神经网络；（4）：基于GPU+CPU的混合快速能量优化算法。 本项目的研究可望建立一套比较系统的针对三维场景理解的高阶能量模型设计和快速优化的理论和方法，形成相关的算法模块，并能在一些特定领域得到初步应用。本项目的预期成果可望进一步丰富和推动三维场景理解的研究与进展。

本项目主要研究三维场景理解中的高阶能量优化理论和方法，项目申请时确定的主要研究内容有以下四方面：（1）：三维场景理解中的高阶能量有效表达问题；（2）：含高阶能量项的快速能量优化方法；（3）：高阶能量模型与层次化网络模型之间的关系, 如深度神经网络；（4）：基于GPU+CPU的混合快速能量优化算法。项目执行过程中，由于深度学习的进展，特别是表达学习的巨大进展，对原定的一些内容进行了一些调整，特别是高阶能量的表达问题与基于深度学习的表达学习相比，其重要性和实用性均有所下降，不再适合作为一个重要方向进行研究。因此，本项目重点研究了以下三方面的内容：（1）：高阶能量的快速优化，特别是并行和分布式的快速图割和动态图割问题；（2）：三维场景快速语义重建。特别是大场景的快速周密重建问题和无人机与地面图像的混合重建问题；（3）：从单幅图像的快速深度信息学习问题。项目执行期间，在IEEE会刊等主流刊物共发表论文50余篇，构建了一个三维重建和测试的数据库，研发了一套三维场景语义重建系统。项目形成的三维重建和视觉定位相关关键技术已在商汤、华为、滴滴、三星、诺基亚、四维等公司得到应用，同时在国防和佛教寺庙保护方面也已得到一些初步应用。培养了20多名三维视觉方面的博士生和硕士生，这些毕业学生已在上述这些公司成为骨干研究人员，有力推动了三维计算机视觉的应用研究和产业化。论文获2017亚洲模式识别会议最佳墙报论文奖。