融合多重线索的高质量场景深度感知

Depth perception is an important source of scene perception for mobile device interaction, which becomes the foundation of 3D modeling, SLAM and other mobile terminal applications. However, the completeness and accuracy of depth acquisition are affected to some extent due to the complexity and variability of real scenes and the mobility and miniaturization of the acquisition equipment. This project uses convenient and low-cost depth and texture sensing equipment for efficient data acquisition, and focuses on the research on high quality depth perception via multiple cues fusion: analyze the properties of scene depth and depth cues, and establish the feature representation model of scene depth and the mapping relationship between depth clues and scene depth; reveal the structural dependence between texture and depth signals, and establish the depth network for texture-depth mapping; construct depth fusion and construction model based on multiple depth cues and depth observations, and design a fast and robust reconstruction algorithm for depth computation; This project forms a set of computational reconstruction methods and core techniques for recovering high quality depth information from low quality depth observations.

深度感知作为移动设备交互技术的一个重要的场景感知来源，成为3D建模、SLAM等移动端应用的基础。但是，现实场景的复杂性和多变性以及采集设备的移动化和小型化不同程度上影响了深度获取的完整性和准确性，使得以场景深度为感知基础的应用受到限制。本项目采用便捷低成本的深度和纹理传感设备进行高效数据采集，并开展融合多重线索的高质量深度感知研究：分析场景深度及深度线索的特征，建立场景深度的特征表示模型以及深度线索与深度之间的映射关系；揭示纹理和深度在结构上的相关特性，建立纹理-深度映射关系的深度网络；构建基于多重深度线索及深度观测的深度融合重建模型，设计快速稳健的深度计算重建算法，形成由低质量深度观测恢复高质量深度信息的一套计算重建理论方法和核心技术。

深度信息是三维场景还原、3D建模、立体视频渲染和SLAM等应用的必备要素之一，但由于现有深度传感技术在深度分辨率、量程及精度等方面均无法满足于上述应用环境，因此需要开发高质量的场景深度感知方法和技术以满足需求。本项目重点探索融合多重线索的高质量场景深度感知，以低成本便携传感设备为数据采集平台，围绕高质量的场景深度重建这一科学问题展开，形成了高效的采集、感知与重建方法。具体内容如下：在深度信号降质理论分析建模方面，利用自回归模型、信号分解模型、稀疏表示及低秩矩阵表示等数学算法工具，针对深度图像等信号建模建立了一系列理论算法框架，更好的挖掘及表示此类信号；在深度图复原方面，针对深度传感器获取的深度初始观测存在分辨率低、有缺失等问题，构建纹理数据驱动的场景深度高效感知学习框架，以获取完整可靠的场景深度观测；在深度信息估计方面，提出了基于多重深度线索的融合及优化方法，利用单目几何，时域运动，双目视觉等线索，高质量推断场景深度信息；在应用方面，主要面向陆上室内外、水下及SLAM等场景下的深度信息估计及复原，取得了较好的结果。在本项目的资助下，研究成果发表于IEEE TIP, IEEE TCSVT, Pattern Recognition, Neurocomputing, ACMMM, ICME, ICASSP, ICIP等国际顶级期刊和会议，并获得了计算机学会推荐B类会议ICME最佳铂金论文奖以及ACM协会大连分会的新星奖。以上研究成果，为解决深度信息感知提供了较好的理论和算法支撑，具有重要的科学意义和实用价值，应用前景广阔。借助本项目的研究，在未来，将继续针对三维视觉领域的一些关键问题展开深入研究，突破其中关键技术，将深度感知及场景重建方法实用化。