面向困难场景任务的图像序列光流计算技术及鲁棒性研究

Optical flow estimation and related technology is the research focus in the areas of machine vision and pattern recognition, the research achievements have been widely applied in aerospace, military, industry, cultural relic protection and restoration, medical image processing and analysis. This project mainly researches the technology and robustness of optical flow computing toward the challenge of difficult scene. Firstly, the image preprocessing approach of texture-structure decomposition would be improved by using the fast classification model of the light shadow image and the self-adaptive ROF model. Secondly, the reliability of the optical flow computation for the weak texture and complex structure images would be increased through the research of the self-adaptive diffusion objective function based on the epipolar constraint, the fractional differential model and the guided filtering optimization. For the robustness of the optical flow estimation under the non-rigid large deformation motion and motion occlusion, the image feature clustering based dense matching and the neighboring constraints are applied to overcome the influence of the difficult motion. Finally, the test image sets of Middlebury, MPI Sintel and KITTI databases are employed to evaluate the computing accuracy of the proposed approaches, and the outfield test by jointing the institute of unmanned aerial vehicle of Nanchang Hangkong University to evaluate the robustness.

图像序列光流计算及其相关技术研究是机器视觉与模式识别等研究领域的热点问题，研究成果广泛应用于航空航天、军事、工业生产、文物保护与复原、医学影像处理与分析等领域。本项目主要研究面向困难场景任务的光流计算技术及鲁棒性问题，首先研究光照阴影图像快速分类模型，完善基于自适应ROF模型的纹理、结构分解图像预处理方法。然后研究基于极线约束与分数阶微分模型的自适应扩散光流估计能量泛函，并采用引导滤波优化光流估计模型，提高弱纹理与复杂结构图像光流计算的可靠性。针对非刚性大形变运动与遮挡等困难运动类型下光流计算的鲁棒性问题，分别利用图像特征聚类稠密匹配和邻近邻域约束克服非刚性大形变运动和运动遮挡对光流计算的影响。最后利用Middlebury、MPI Sintel和KITTI数据库提供的测试图像集对本项所述光流计算技术进行精度测试，并联合南昌航空大学无人机研究所进行外场鲁棒性测试。

本项目主要围绕困难场景图像序列变分光流计算技术开展研究，主要研究工作如下：. 1.提出一种基于相互结构引导滤波的全局TV-L1变分光流估计方法。首先提出图像相互结构区域的提取策略，设计相互结构引导滤波全局目标函数；然后构造基于相互结构引导滤波的TV-L1变分光流模型；最后将变分光流能量函数转化为TV-L1光流线性最小化与金字塔分层相互结构引导滤波结合的交替迭代光流估计模型。实验结果表明本方法在图像和运动边缘区域具有显著的边缘保护效果。. 2.提出一种基于深度匹配的由稀疏到稠密大位移运动光流估计方法。首先利用深度匹配模型计算图像序列相邻帧的初始稀疏运动场；然后采用网格化邻域支持优化模型筛选具有较高置信度的图像网格和匹配像素点；最后对稀疏运动场进行边缘保护稠密插值并优化求解稠密光流场。实验结果表明本方法在非刚性大位移区域具有更好的鲁棒性与可靠性。. 3.提出一种基于遮挡优化的金字塔块匹配光流估计方法。首先利用金字塔块匹配模型得到初始匹配运动场；然后构造遮挡检测模型优化匹配运动场，去除初始匹配运动场包含的误匹配点以获取鲁棒稀疏运动场；最后设计边缘约束的鲁棒插值算法获取稠密光流场，并构建全局能量泛函计算鲁棒稠密光流场。实验结果表明本方法有效提高了大位移和运动遮挡情况下光流估计的准确性和鲁棒性。. 4.提出一种基于运动优化语义分割的变分光流计算方法。首先根据图像局部区域的去均值归一化匹配模型构建变分光流计算能量泛函；然后利用归一化互相关光流估计结果获取图像运动边界信息对语义分割进行优化，设计基于运动优化语义分割的变分光流计算模型；最后将图像不同标签区域光流融合获得光流计算结果。实验结果表明本方法对光照变化、弱纹理以及大位移运动等复杂场景具有更好的边缘保护效果。