从相对视差感知三维表面的计算模型研究

Effective computational models of three dimension perception and its implementation methods are increasing demands in the field of digital city, robot vision navigation, virtual reality and augmented reality. This project aims to explore a hierarchical computational model of three dimension surface perception from relative disparity by learning disparity encoding methods and integration strategies in the biological 3D perception. The major research content involves the following components: 1) phase based image feature encoding and absolute disparity estimation; 2) central- peripheral mechanism based relative disparity encoding for the spatial change and local differential structure of the absolute disparity; 3) competition and cooperation mechanism based the selection and integration of the relative disparity and graph embedding methods for local 3D surface segment restoration; 4) applying the graph spectral theory to study the relation among the local 3D surface segments and computational models for large scale 3D surface perception; 5) the effect of the size and complexity of local connection on the performance of 3D surface perception. This basically research will concern both the neural mechanism from biological stereo perception and some mathematical methods for visual information perceptual organisation, and has important scientific meaning and application value for exploring the computational models based on biological stereo perception and developing the effective 3D information acquisition system.

高效的三维感知计算模型与实现方法在数字化城市、机器人视觉导航、虚拟现实与增强现实等领域具有广泛的应用需求。本课题旨在借鉴生物三维感知过程中的视差编码方式、融合集成策略，探索从相对视差感知三维表面的分层计算模型。主要内容包括：1）研究图像的相位特征编码与绝对视差估计；2）基于中央－周边机制，研究绝对视差的空间变化与局部微分结构的相对视差编码及其可靠性；3）基于竞争与协作机制，研究相对视差的选择与集成及局部三维面片恢复的图嵌入方法；4）利用图谱理论，研究局部三维面片之间的关系及大范围三维表面感知的计算模型与方法；5）研究局部连接范围与连接复杂性对相对视差的编码能力及三维表面恢复性能的影响。该项基础性研究不仅涉及到生物立体感知的相关神经机理，而且涉及到视觉信息感知组织的建模及其优化的数学方法，对研究基于生物立体感知的计算模型与开发有效的三维信息获取系统具有重要的科学意义与应用价值。

遮挡、弱纹理与重复性纹理是鲁棒视差估计面临的主要挑战。如何编码图像结构、场景表面结构，将匹配代价与视差约束进行融合推理，是解决从多视点图像估计场景深度的关键。主要研究内容如下：. （a）研究视差约束编码与多视差线索融合推理方法，提出了一种协调多候选视差的计算模型（CVPR2016）。该模型引人绝对视差竞争机制与相对视差合作机制，将视差约束编码在马尔科夫网络模型上进行融合推理，可以同时准确鲁棒地估计精细结构与大面积无纹理区域的深度。该方法在公开数据集上的评估结果获得当时排名第二名。. （b）研究多视点图像中遮挡区域推理与视差计算方法，提出了遮挡区域检测的对称深度神经网络模型(BMVC2018)。该模型不依赖于深度估计，可以直接用双视图像同时推理两幅图像中的遮挡区域。其次，提出了一种可感知遮挡的无监督视差计算网络模型（ACCV2018）。该模型采用对称网络结构的遮挡推理模块，将遮挡估计引入视差计算模块以及无监督训练过程中，可以提高视差计算精度与鲁棒性。. (c) 研究从稀疏深度数据恢复场景稠密深度的方法，提出了一种多尺度图像指导的级联网络深度补全模型（WACV2020）。该模型使用级联的沙漏结构网络分别处理不同尺度的稀疏深度观测，利用高分辨率图像的多尺度指导信息引导深度高精度补全。该方法以低计算复杂度和时间复杂度，在公开测评数据集上达到了具有竞争力的补全精度。. (d) 研究基于中央-周边机制图像特征表示与匹配方法，提出融合多时间尺度信息的视觉目标表示、匹配与搜索框架（PAMI2017），较好地平衡了视觉目标跟踪的稳健性、适应性与持续性。. 项目研究工作发表高水平论文15篇，申请专利1项。研究成果对开发有效特征表示、视差约束与融合推理模型，以及三维信息获取系统具有重要的科学意义与应用价值。