单像机宽视场立体视觉动态测量技术及传感器

Focusing primarily on wide field-of-view(WFOV) three-dimensional(3D)dynamic measurement technology, this reseach combine the stereovision measurement with WFOV no warp distorted imaging technolgy to explore some key issues in this new area and develop a WFOV stereovision sensor composed of a high resolution camera and specail mirror pyramid group, which consists of four planar mirror faces arranged around an axis of symmetry and inclined to form a regular pyramid. This research is aimed at resolving the intrinsic dilemma resulting from simultaneous equirement of accuracy and speed especially for conventional binocular system, and finally constructing a high-accuracy WFOV 3D vision measurement mode which is capable of realizing dynamic and real-time measurement. The detailed research items are mainly described as follows: overall design for measurement system; WFOV no warp distorted imaging technolgy; virtual mult-view WFOV stereovision metrology; WFOV vision sensor based on single camera; mathematic model of the devloped system; on-site system calibration technique; stereo correspondence problem among sub-regions in single image; development of the measurment system prototype. In conclusion, to investigate the WFOV 3D vision measurement technology will provide a new strategy with respect to 3D perception area and definitely improve the quantitative perceptive ability for machine system in WFOV environment. This means it has wide applications in various aspects such as 3D reconstruction, reverse engineering, robotic navigation, intelligent enviorment surveillance of railway and highway, advanced manufacturing and online production process, et al.

围绕宽视场三维动态测量，将立体视觉测量与宽视场无卷曲畸变成像技术结合，研究单摄像机宽视场立体视觉动态测量关键技术，研制由高分辨率单摄像机和组合四棱锥面反射镜组构成的宽视场立体视觉传感器，旨在满足更宽视场范围内的三维测量的前提下，解决传统双目立体视觉存在的测量精度和测量速度之间的固有矛盾，以期构建能满足动态实时测量需求的高精度宽视场三维测量模式。研究内容包括测量系统总体方案、宽视场无卷曲畸变成像技术、多虚拟双目宽视场立体视觉测量技术、研制单摄像机宽视场视觉传感器，建立传感器模型，研究传感器现场标定技术，研究单图像子区域同名特征对应匹配方法，研制测量系统样机。单摄像机宽视场立体视觉动态测量技术，为宽视场三维感知测量提供一种新技术途径，对提高机器系统的环境定量感知能力具有重要意义，将在三维场景重建、逆向工程、自动机器导引、铁路及高速公路环境监测、先进制造业、在线生产作业等领域具有广泛应用前景。

基于折反射成像与双目视觉的立体视觉测量技术将广泛应用于先进制造、逆向工程、机器人导航等领域内起着非常重要的作用。项目围绕宽视场三维测量，构建基于立体视觉技术与无卷曲畸变的多虚拟双目成像技术相结合的单像机宽视场立体视觉三维测量模式，研制由高分辨率单摄像机和组合四棱锥面反射镜组构成的宽视场立体视觉传感器，解决常规多传感器双目视觉测量由于图像同步采集制约难以满足动态测量的难题，旨在满足更宽视场范围内的三维测量的前提下，解决传统双目立体视觉存在的测量精度和测量速度之间的固有矛盾，构建能够满足在动态环境条件下无人机、机器人的视觉导航导引需求。.取得主要成果：.① 提出了无卷曲畸变的多虚拟双目成像的宽视场立体视觉测量方案，基于高分辨率单像机和四棱镜锥面反射镜组，研制了新型单摄像宽视场机立体视觉传感器。.② 建立了单摄像机宽视场立体视觉传感器的几何设计模型，对四棱镜锥面反射镜组的几何尺寸、相互位置、与摄像机光轴的夹角及工作距离等参数进行了计算，推导出单像机宽视场立体视觉传感器的优化设计方法。.③ 建立了唯一摄像机坐标系的多虚拟双目视觉的一体化测量模型，提出基于组合靶标的宽视场立体视觉传感器两步标定方法。.④ 针对镜像双目的单摄像机-双成像点模式，建立了单摄像机镜像双目极线约束模型，确定了对应匹配点在同一图像中不同子区域的共线关系，缩小了同名特征匹配的搜索范围，提高匹配效率及准确性。.⑤ 面向高精度立体视觉测量，提出了基于空间三维距离误差最小化的立体视觉模型参数的多约束优化方法，有效地提高了双目视觉的标定精度和测量精度。.⑥ 提出了局部小平面直接映射的单摄像机高精度视觉测量方法，有效地避免了单摄像机模型中畸变对测量精度的影响。.⑦ 提出一种适应硬件实现的改进直线段特征提取（LSD）算法，基于FPGA硬件实现了算法中的图像平滑、梯度计算、水平角计算、梯度伪排序、区域增长和矩形近似等关键模块。.⑧ 研制了单像机宽视场立体视觉传感器原理样机，搭建实验测试系统，开发了传感器标定及测量软件。.单摄像机宽视场三维视觉测量技术，为宽视场三维感知测量提供一种新技术途径，对于提高机器系统的宽视场环境定量感知能力具有重要意义，将在三维场景重建、逆向工程、机器人导航、视频智能监控、先进制造业、在线生产作业等领域具有广阔的应用前景。