基于双目结构光的深场景高精度深度获取方法研究

High quality depth data has important applications in computer vision, pattern recognition, human computer interactions, virtual reality, 3D reconstruction, etc. However, it is difficult for the current depth sensing methods to compromise the accuracy, resolution and speed in the large depth-of-field dynamic scene. In this project, to overcome this drawback, we propose a high accuracy depth sensing method based on joint stereo vision and structured light framework. The large depth-of-field is divided into local regions based on the coarse depth which is acquired by stereo vision. In each local region, high accuracy depth sensing is attained by the one-shot structured light method. The main research contents include: coarse depth acquisition and scene segmentation based on stereo vision; high accuracy depth sensing based on single shot frequency division multiplexing structured light; fast phase unwrapping with the assist of coarse depth. The main contributions include: propose the Gaussian pyramid representation for structure stereo vision and depth segmentation method, the coarse depth and fine depth are acquired simultaneously; propose the frequency division multiplexing structured light method to achieve the sub-pixel accuracy; propose the coarse depth aid phase unwrapping method to reduce the complexity. In this project, we expect to achieve a breakthrough in the theory, and provide new techniques for high quality depth sensing methods.

高质量的深度数据在计算机视觉、人机交互、虚拟现实和3D重建等方面有着重大需求。然而，现有的深度获取方法在深度变化较大的动态深场景中很难解决精度、分辨率、实时性之间的矛盾。针对该问题，本项目提出了基于双目结构光的高精度深度获取方法，以期实现深场景双目粗深度区域划分、区域内结构光高精度获取。主要研究内容：双目结构光粗深度获取及场景深度区域划分；频分复用的单帧结构光局部区域内高精度深度获取；双目粗深度辅助的结构光快速解缠绕。创新点：1）提出了高斯塔式结构的双目粗深度获取及场景深度区域划分方法，结构光单帧投射粗深度和精深度同时获取；2）提出了频分复用的单帧结构光深度获取方法，使得深度获取的精度达到亚像素级；3）提出了双目粗深度辅助结构光精深度快速解缠绕方法，降低了计算复杂度，使实时深度获取成为可能。本项目预期在方法上有突破，技术上有创新，为实现高质量深度数据获取奠定理论和技术基础。

申请人在过去四年认真深入的分析研究了基于双目结构光的高精度深度获取方法，并就深场景双目粗深度区域划分、区域内结构光高精度获取、快速实时深度信息获取及深度获取算法的加速优化等方法展开重点的研究。在该研究周期内，先后在Optics Express、IEEE Transactions on Geoscience and Remote Sensing、Neurocomputing、IEEE Sensors Journal、Signal Processing等国际期刊累计发表学术论文共12篇（全部SCI检索），其中中科院JCR2区以上5篇；申请专利8项，获得国家自然科学二等奖一项。回顾项目初期设定的研究计划与预期研究成果，具体研究工作如下：（1）提出了基于频分复用的混合编码结构光方法，实现了动态场景高精度的稠密深度信息获取；（2）提出了基于最大后验概率估计的匹配方法，通过改善图像中低质量特征的匹配准确率提高了测量的鲁棒性；（3）提出了单帧复合模板的深度信息获取方法，实现了快速解缠绕方法，完成快速场景深度获取；（4）提出了无编码模板建立深度多阈值模型的方法，克服了场景易受到环境光照、不同反射率、场景颜色等因素干扰的问题；（5）提出了基于频分复用结构光模板非坐标相位获取方法，完成对深度获取方法的优化，可适用于不连续表面或尖锐边缘的复杂场景的可靠深度获取；（6）提出了对单帧结构光绝对相位的求解方法，通过嵌入De序列完成对绝对相位的求解；（7）提出了基于神经网络与传统方式相结合的深度获取方法，保证深度图像实时获取的情况下，弥补了结构光信息缺失区域的深度信息错误的问题；（8）提出了新的并行运算方法，对深度获取系统进行了加速优化，实现深度数据的更快速获取方法；（9）提出了基于稀疏学习和遗传算法的网络剪枝方法，解决了卷积神经网络参数多以及高计算量的问题，加快了双目深度学习结构光深度获取的速率；（10）项目组还开展了有关运动想象脑电信号的分析，提出了并行多尺度滤波器组卷积神经网络和微调迁移学习方法，实现了对运动想象脑电信号的鲁棒性分类和基于小数据集的跨被试迁移学习分类。申请人经过四年的研究发现，虽然在双目结构光深度获取方面取得了一定的研究成绩，但是随着研究的不断深入，申请人逐渐发现自己在该研究领域尚有很大的不足，研究内容中仍存在很多问题欲待解决，申请人希望能在未来的研究中取得更深入的研究进展