宽基线运动下图像跟踪匹配立体视觉三维轮廓测量技术研究

The three-dimensional (3-D) profilometry based on stereo vision is an important method to digitize the 3-D information of the detected object. It shows obvious advantage in the 3-D measurement of the complex-profile and dynamic object compared with traditional methods. However, feature matching is the most important and difficult problem existing in the stereo vision-based measuring profilometry. In this project, we propose a new continuous image track matching algorithm for wide-baseline images. We captured images from different views by two ways: camera moving around the object or multiple cameras being fixed around the object. In both ways we utilize the feature transfer law of image sequence to realize quick and high-precision measurement of complex-profile and dynamic object. The research includes three main contents. Firstly,construct a multi-scale and multimodal descriptor which could express the local image feature. Then, research on the basic relationship of camera movement and image variation, and propose a new feature dense matching method for wide-baseline images. Finally, develop a prototype for full-field measuring profilometry of complex-profile and dynamic object. This research will provide new ideas for stereo vision-based measuring profilometry.

基于立体视觉技术的物体三维轮廓测量方法是实现物体表面形貌数字化的重要手段，特别是在复杂型面和动态物体测量中具有明显优势。然而，特征匹配算法和技术是影响立体视觉测量方法的关键技术难题。本项目提出一种宽基线运动下图像跟踪匹配立体视觉三维轮廓测量技术，通过摄像机连续运动或多摄像机并行布置的方式采集不同视角的图像，利用图像序列特征连续传递规律实现动、静态物体的快速、高精度立体视觉三维测量。主要研究内容包括：构造一种涵盖二维图像多尺度、多模式的各向同性局部特征的描述子；研究摄像机运动与物体表观成像变化的基本规律，探索一种宽基线模式的精确稠密匹配新方法；研制快速、高精度的立体视觉三维测量系统样机等。该研究将为立体视觉三维轮廓测量方法提供一种新思路。

本项目提出一种宽基线运动下图像跟踪匹配立体视觉三维轮廓测量技术，利用图像序列特征连续传递规律实现动、静态物体的快速、高精度立体视觉三维测量。深入分析特征检测技术，提出了基于DoP-K 滤波和光度归一化对图像进行预处理，去除光照、噪声等因素的影响，并结合SURF描述符检测特征点，提出了一种基于RANSAC 和双阈值的误匹配滤波法，实现了相邻帧特征的准确匹配；研究了摄像机运动模型，提出了基于反向投影模型的单摄像机/双摄像机高精度标定技术，简化了标定过程，提高了标定精度；利用球体具有外轮廓连续性好等优点，提出了一种基于球形靶标的MVS（多视角立体视觉系统）运动关系标定优化算法，仿真和实验均表明，该模型可以有效校正球心成像偏差，提高球心定位精度；研究了多帧连续图像序列特征跟踪算法，分析平移图像的几何关系以及图像像素级量化引入的误差，提出了一种基于基线估计的宽基线稠密匹配算法（TGC），实验证明该算法具有比传统算法在精度和效率上的优异性能；分析预测视差图，根据参考边界的不同分类以及像素点与边界距离，实现预测视差图中视差值的精细化，进一步建立了基于基线估计和视差梯度约束的稠密匹配算法（TGC-DGC），实验表明，该算法匹配图像的视差估计精度得到明显改善，并显著优于传统GC方法，特别是在遮挡区域和纹理不丰富区域；研究了基于序列帧特征匹配的三维重建技术，提出了一种基于参考帧特征的稳定特征搜索算法以及基于参考帧稳定特征的稀疏面片生成算法，通过多次扩散、滤波得到了可覆盖物体表面的三维稠密面片集。该项目通过对宽基线立体视觉技术的深入研究，在摄像机标定、序列图像特征检测、宽基线稠密匹配算法等方面取得了较大的进展，为连续图像跟踪匹配立体视觉三维轮廓测量技术的实用化打下了基础。