自然场景下变分光流计算的边缘分割与遮挡问题研究

The variational optical flow computing of the image sequence is a major research area in computer vision, which the research achievement has been widely applied in areas such as military, industry, medicine, weather and so on. Since the variational optical flow computing technique was proposed under the strong restraint requirement, the traditional variational optical flow computing method often couldn’t acquire the robust result according to there is much terrible influence in the natural scene, such as the illumination variation and motion occlusion.. This project mainly researches the variational optical flow computing technique, plans to establish the constant assume and construct the computing model of the variational optical flow in the natural scene by analysing the various image features. According to the different types of the motion occlusion, this project concludes the feature parameters of the various objects or scene edges, proposes the method for edge location and extract in the condition of motion occlusion, builds the variational optical flow computing model in the occlusion area. With the image information of the object or scene, this project presents the self-adaptive controlled smoothing strategy, establishes the smooth term restraint condition of the variational optical flow erengy function to solve the edge oversegmentation problem caused by the large displacement. The research of the project would be conducive to promote the development of the variational optical flow computing technique, which provides the new strategy and technique for solving the robustness of the variational optical flow computing in the natural scene..

图像序列变分光流计算是计算机视觉研究领域的一个热点问题，研究成果广泛应用于军事、工业、医学、气象等领域。由于变分光流计算技术是在较强的约束条件下提出，而现实世界中常常包含较多干扰因素，例如光照变化、运动遮挡等现象，因此传统的变分光流计算方法在自然场景下难以获得鲁棒的计算结果。本项目主要针对变分光流计算技术进行研究，拟通过分析图像的不同特征建立自然场景下的光流计算守恒假设，构造自然场景下变分光流计算的基本模型；根据运动遮挡的不同形式，分析不同物体或场景边缘的特征参数，提出运动遮挡情况下物体或场景的边缘定位与提取方法，建立遮挡区域变分光流计算模型；根据物体或场景的图像信息，建立自适应控制的平滑项扩散略，构造变分光流能量函数平滑项约束条件,解决大位移运动情况下光流计算的边缘分割问题。本项目的研究将有助于推进变分光流计算技术的发展，为解决自然场景下变分光流计算的鲁棒性提供新思路和新技术。

本项目主要研究自然场景下变分光流计算的边缘分割与遮挡问题，包括：研究自然场景下变分光流计算的鲁棒性问题、研究运动遮挡情况下光流计算的边缘漂移问题以及研究变分光流计算的过度分割问题等内容。本项目主要研究工作和创新如下：. 首先从精度与鲁棒性等方面对图像序列光流计算及三维重建技术取得的进展进行综述与分析；归纳各类方法的性能特点与适用范围；最后对利用分数阶微分模型、非局部约束、立体视觉以及深度线索解决亮度突变、非刚性运动、运动遮挡与模糊情况下光流计算及重建模型的局限性与鲁棒性问题进行总结与展望。. 提出一种基于图像局部结构的区域匹配变分光流算法。数据项采用图像结构守恒与灰度守恒相结合，并引入规则化非平方惩罚函数；平滑项采用随图像局部结构自适应变化的扩散策略结合区域匹配约束函数；在光流计算过程中引入金字塔分层细化策略克服图像序列中大位移运动引起的像素点漂移现象，并采用数学方法证明光流估计模型的鲁棒性和收敛性。. 提出一种基于加权邻域三角滤波的非局部TV-L1光流计算方法。设计基于L1模型与加权梯度守恒假设相结合的数据项以及基于L1模型与基于图像梯度自适应变化权重相结合的平滑项；采用基于加权邻域三角的非局部约束项，通过引入图像金字塔分层变形计算策略，提出基于加权邻域三角滤波的非局部优化模型。. 提出一种基于光流与Delaunay三角网格的图像序列运动遮挡检测方法。构造基于非局部约束的TV-L1光流估计模型；根据图像Delaunay三角网格划分与光流估计结果对图像序列帧间对应像素点和局部三角形进行运动遮挡判断并检测遮挡区域。 . 提出一种基于遮挡检测的非局部TV-L1鲁棒光流估计方法。根据图像序列遮挡区域检测结果，在定义加权中值滤波窗口内像素点权重时，对于遮挡区域像素点主要依靠亮度变化决定其权重值，对于非遮挡区域像素点主要依靠亮度距离定义其权重值，能够有效地克服运动遮挡对光流估计的影响。