复杂场景点线光流三维重建模型的建立及鲁棒性分析

Reconstructing the 3D structure from the image optical flow is the major area in computer vision. The most existed reconstruction approaches are belong to the single-mode method based on point optical flow or line optical flow, which could not describe both the macroscopical structure and the surface detail of the target object overall. The main research of the project is studying the 3D reconstruction strategy which combined the point and line optical flow. Firstly, it defines the the concept and the expression of the point and line optical flow respectively through the theoretical and experimental analysis of the imaging principle in the complex scene. Secondly, it descibes the mutual geometry relationship between the 2D motion and the 3D motion and structure of the point and line with the perspective projection model, constructs the 3D reconstruction model based on the point and line optical flow. Thirdly, it proves and analyzes the robustness of the 3D reconstruction model by the mathematics method and experimental method respectively. Then, it chooses the fast and optimized algorithm to confirm the computing strategy when there are the motion covered problems. Finally, it designs an objective evaluation system to compare the presented approach with the existed methods quantitatively and to analyze them qualitatively. This project would be helpful to promote the further development of the 3D reconstruction technology based on optical flow. The multi-mode method could make the 3D reconstruction algorithm obtain surface details, and also reconstruct the topological structure and motion of the objection, and could ensure the robustness and accuracy of the reconstruction algorithm effectively.

基于光流的三维重建技术是计算机视觉研究中的热点问题。现有的光流重建算法多是基于点光流或线光流的单模态方法，其重建结果常常无法全面地描述目标物体的宏观结构和表面细节信息。 本项目主要研究基于点线光流的三维重建算法。拟在复杂场景下，通过成像原理的理论与实验分析，分别定义点光流和直线光流的概念和表达形式；在透视投影模型下，描述二维点、直线的运动与其三维运动和结构之间的相互几何关系，构造基于点线光流的三维重建模型；分别使用数学方法和实验方法对构造的三维重建模型进行鲁棒性证明与分析；选择快速和优化的求解方法，确定目标物体相互遮挡情况下的计算策略；设计客观的评价体系，对三维重建模型和求解方法进行定量比较和定性分析。 本项目的研究将有助于推动光流重建技术的深入发展，使得一个重建算法既能得到目标物体的表面细节，又能重建目标物体的拓扑结构和运动，并能有效地保证重建算法的鲁棒性和计算精度。

本项目围绕基于图像序列点、线光流的三维重建关键技术及鲁棒性分析展开深入研究，主要研究成果包括：. 1. 对像素点光流计算技术进行研究，在数据项加入局部优化和图像梯度守恒假设提高变分光流计算模型的抗噪性能，设计基于图像梯度的各向异性扩散平滑项和基于区域匹配的光流匹配项，提高了光流计算的精度与鲁棒性。实验证明本项目方法具有较高的光流估计精度和较好的鲁棒性。. 2. 对基于稠密光流的三维重建间接方法进行研究，根据像素点光流与三维运动的对应关系构造基于稠密光流的三维运动线性估计模型，依据三维运动参数与像素点深度坐标的对应关系计算图像中稠密像素点的深度信息并重建其三维结构。实验表明重建算法能够抑制光流估计误差在三维重建结果中的扩散，克服了在局部方法中常常出现的边缘扩张现象。. 3. 对基于稠密光流的三维重建直接方法进行研究，借鉴变分光流计算理论，通过构造三维运动估计能量函数直接计算运动物体或场景的三维运动参数，在运动估计过程中采用基于金字塔分层细化策略克服了由大位移运动带来的像素点漂移问题。实验表明重建算法克服了间接重建方法中光流计算误差对重建结果的影响。. 4. 对基于直线光流的三维重建技术进行研究，根据直线的表达形式定义直线光流的概念和计算公式，由三维直线与平面直线的透视投影关系推导出基于直线光流的三维运动估计模型，该模型仅需连续两帧图像中运动物体或场景表面两条对应直线的直线光流即可分步求解出三维旋转与平移运动的6个参数。. 5. 对基于点、线光流相结合的三维重建方法进行研究，通过平面直线的表达式推导并定义了点、线光流基本约束方程，利用线性方程组解的判定定理推导并证明关于点、线光流对应关系的三个重要推论，提出基于点光流的图像序列运动直线跟踪方法。根据图像序列运动直线跟踪结果估计运动物体或场景的三维运动参数，由三维运动估计结果重建运动物体或场景表面稠密像素点与稀疏直线的三维结构。