面向立体视觉的图上信号处理方法研究

Existing depth acquisition techniques cannot provide satisfactory performance regarding resolution, completeness, accuracy, and convenience, which heavily limits the progress of 3D vision. Based on the emerging theory of graph signal processing, this project proposes graph-based sparse representation and reconstruction of multiview color and depth images, including 1) exploit structural similarity between multiview color and depth images, and establish nearly invariant topology for basic signal units under degraded observations and adaptive weights utilizing correlation along the dimensions of viewpoints, spatial domain, and modality for mutlview color-depth images; 2) Explore analysis and synthesis priors for the sparse representation of graph-based 3D visual signals, and propose training algorithms of analysis dictionaries and synthesis dictionaries; 3) to seek sparse representation for complex 3D visual signals, construct multi-prior graph-based visual reconstruction models, and devise fast and stable signal reconstruction algorithms. Based on the established sparse reconstruction model for visual signals residing on graph, investigate depth sampling/coding and virtual view synthesis, and set up a prototype system for 3D visual processing based on graph-based sparse reconstruction.

现有深度感知技术在分辨率、完整性、准确性等方面的不足难以支撑高质量三维场景呈现的需求，严重制约立体视觉领域的发展。本项目以新兴的图上信号处理理论为根基，突破平凡拓扑结构对探求多维度相关特性的束缚，发展立体视觉信息的图上稀疏表示理论，研究基于图上稀疏表示理论的立体视觉信息重建与处理方法。主要内容包括：1）探求立体视觉信息结构相关性，构建多视角彩色深度图像中基本信号单元在降质观测下近似不变的拓扑连接结构以及反映视点、空间、模态等多维度相关特性的自适应节点边权；2）探索图上立体视觉信号稀疏表示的分析与综合先验，并给出相应综合字典与分析字典的训练方法；3）针对普通单一先验难以紧致描述复杂立体视觉信号的问题，建立多重先验的图上视觉重建模型，并设计稳定快速的信号重建算法。利用所构建图上视觉信号稀疏重建模型，研究深度采样与编码，以及虚拟视点合成方法，形成一套基于图上稀疏重建的立体视觉处理原型系统。

本项目旨在立足于更一般的图上信号模型，通过研究拓扑结构与关联关系的建模、图上立体视觉信号的稀疏表示以及基于图上稀疏表示的立体图像重建方法，建立基于图上信号处理理论的立体视觉信息处理框架与方法。项目基本按照原计划执行，并且积极在降噪、超分辨率等底层图像处理领域进行积极拓展性研究。项目组经过四年的攻关克难，完成了项目的总体研究目标以及各部分的研究目标包括：1）给出用于高效表达立体视觉信息的图上多维信号采样机制，充分利用立体视觉信息多种复杂的相关特性，获得了更具表达性的采样模式；2）建立面向多视点彩色-深度图像的稀疏先验模型，获得RGB-D基本信号单元的高效表示；3）构建彩色-深度图像的图上信号重建模型，设计快速稳健的图上信号重建算法；4）探索了图像信号表示模型在低层信号处理、三维重建与渲染等相关研究领域的拓展与应用。项目在执行期内顺利达成在论文发表、知识产权、人才培养三个方面的预期成果：1）在IEEE T-IP、IEEE T-CSVT、IEEE T-VGG、IEEE J-STSP等国内外高水平学术期刊发表论文34篇，在IEEE CVPR、NIPS、ICPR、ICME等国际会议发表论文13篇；2）获得国家发明专利授权11项；3）培养博士研究生3名，硕士研究生10名。