深度相机与CCD传感器交互的3D场景流计算技术研究

The research on the technology of 3D scene flow estimation is a focus problem in the field of computer vision and pattern recognition, the research achievements have been widely applied in aerospace, military, industry, safety protection, cultural relic protection and restoration, medical image processing and analysis, and so on. This project mainly researches the technology of 3D scene flow estimation technology with the interacting of the depth camera and CCD sensor. Firstly, the correspondence relationships of the pixels of the visible and depth image would be established with the accurate registration model of the visible and depth image by analyzing the differences of the imaging principle and image quality between the different imaging sensors. Secondly, according to the problems of brightness changing and discontinuity in the image sequences, the robust model of 3D scene flow estimation would be projected through analyzing and remolding the consistent assumption of 3D scene flow based on the image data, which may increase the accuracy and reliability of the 3D scene flow under the illumination changing and large displacement. Finally, for the robustness of the 3D scene flow estimation in non-rigid motion, motion occlusion and blurring, and the multiple movement forms in the complex scene, the generalized robust model of 3D scene flow estimation in the hard motion model would be presented by summarizing different movement types, which may increase the accuracy and application field of 3D scene flow estimation.

3D场景流计算及相关技术研究是计算机视觉与模式识别等领域的热点问题，研究成果广泛应用于航空航天、军事、工业、安全防护、文物保护与复原、医学影像处理与分析等领域。本项目主要研究深度相机与CCD传感器交互的3D场景流计算技术，首先通过分析异源图像成像原理及图像质量的区别，构造可见光与深度图像的精确配准模型，建立深度信息与可将光图像像素点的对应关系。然后针对图像序列中亮度突变与不连续情况下的3D场景流计算问题，通过对基于图像数据的3D场景流计算基本守恒假设进行分析与改造，建立3D场景流计算鲁棒模型，提高光照变化、大位移运动等情况下3D场景流计算的可靠性。最后，针对非刚性运动、运动遮挡与模糊以及复杂环境多运动形式下3D场景流计算的准确性与鲁棒性问题，通过归纳总结不同运动类型，构建困难运动模式下3D场景流计算的广义鲁棒模型，提高3D场景流计算的准确性与应用范围。

本项目主要围绕3D场景流计算技术展开深入研究，主要研究工作如下：.1. 提出一种基于特征级联卷积神经网络的双目立体匹配计算方法。首先构造特征重用全卷积密集块，利用“跳连接”机制将浅层提取的特征图级联到后续子层。然后引入指示函数划分训练集，批量输入特征级联卷积网络模型进行前向传播，更新初始权重和偏置参数。最后根据负连接神经元对网络模型的输出进行初始匹配代价计算，求得精准稠密的视差图。实验结果表明本方法具有较高的视差计算精度和鲁棒性。.2. 提出一种基于深度匹配的由稀疏到稠密大位移运动光流估计方法。首先利用深度匹配模型计算初始稀疏运动场，采用网格化邻域支持优化鲁棒稀疏运动场。然后进行边缘保护稠密插值并设计全局能量泛函优化求解稠密光流场。实验结果表明本方法在非刚性大位移和运动遮挡区域具有更好的鲁棒性与可靠性。.3. 提出一种基于语义分割的双目场景流估计的方法。首先将图像划分为带有语义标签的区域，计算光流信息和视差信息。然后通过最小二乘法耦合光流和视差信息，求解每个超像素块的运动参数。最后通过更新映射关系得到场景流估计结果。实验结果表明本方法对于复杂场景图像具有很好的边缘保护作用。.4. 提出一种基于金字塔块匹配的双目场景流计算方法。首先对双目图像序列进行超像素分割和视差估计，然后建立基于金字塔块匹配的运动模型并估计对象运动参数。最后联合对象运动参数和超像素平面参数构建基于金字塔块匹配的双目场景流估计能量函数。实验结果表明本方法能够提高大位移、运动遮挡情况下场景流的估计精度和鲁棒性..5. 提出一种基于FRFCM聚类与深度优化的RGBD场景流计算方法。首先采用FRFCM聚类算法对输入图像进行初始分割，然后根据深度图像的运动边缘信息优化初始分割结果，最后使用金字塔变形策略计算精确的场景流结果。实验结果表明本方法有效改善了场景过度平滑和运动边缘模糊问题。