景深延拓单双目立体视觉融合研究

We propose to combine the monocular and binocular vision to overcome the problem of limited depth of field and difficulty of feature matching in binocular vision. Axial chromatic aberration is deliberately introduced into the optical system to get different focal length for R, G and B channels, where only one channel can get aberration-free image. Image fusing is then adopted to get extended depth of field without freeform phase mask to improve the position precision of defocused feature. Based on depth from defocus, the depth information of the scene can be obtained by monocular vision, helping the binocular vision match the features accurately, which can improve the reliability of the measurement of objects with periodic structures. Optimizing the system to introduce axial chromatic aberration and eliminate lateral chromatic aberration. Calibrating the lens parameters, matching the features based on depth information and calculating the precise 3D position. The proposed method can be widely used for the advantage of low cost for extending the depth of field and real-time measurement of depth with monocular vision, which helps it improve the system's performance.

针对双目视觉景深有限及特征点匹配困难的问题，本项目提出单目与双目立体视觉融合的方法，在光学系统中主动引入轴向色差，使RGB三原色通道具有不同焦距，物体位于不同位置时有且只有一个通道清晰成像，一方面无需特殊相位板，通过融合三通道图像可实现景深延拓，提高离焦时特征点提取精度，另一方面基于离焦深度测量理论单目无需变焦可实时获得深度信息，能够帮助双目视觉更准确匹配特征点，提高测量具有周期性纹理结构物体的可靠性。设计优化算法在镜头中引入轴向色差，减小倍率色差；设计图像融合算法，处理单目数据，实时获得场景大景深图像及初步的深度信息；标定镜头参数，基于深度信息匹配双目图像特征点，计算其准确三维位置，重构三维场景。本方法具有景深延拓成本低、单目可实时测量深度的特点，能够显著改善双目立体视觉测量效果，具有广阔的应用前景。

传统光学系统成像时景深有限，一般需通过减小光通量增加景深，降低了图像信噪比，对深度测量及全景深图像融合造成了影响，迫切需要一种景深延拓技术，在不降低图像质量的前提下提供大景深以满足测量要求。针对此问题，本项目提出基于色散成像系统的解决思路，并从设计、仿真、性质及应用等方面开展了系统的理论与实验研究，研究内容包括三维模拟成像软件开发、色散成像系统设计加工、色散成像系统应用、图像融合算法等。项目在执行期间，取得了丰富的科研成果，主要包括：.1. 编写了一套三维成像模拟软件Sims，通过调用ZEMAX光线追迹功能，实现了对任意深度分布场景图片的模拟成像，后续可为设计非传统成像系统提供通用设计工具；.2. 设计加工了一套色散成像系统，包括色差镜头及相机控制软件，相比传统同等参数消色差成像镜头增加了三倍景深，实现了景深延拓成像，后续可应用于监控或三维深度测量领域；.3. 基于数值模拟深入研究了色散成像系统的光学性质，结果表明通过引入波前编码，可有效减少光谱急剧变化导致成像质量恶化的现象；.4. 基于色散成像系统搭建了一套光滑表面缺陷检测系统，能够全自动化测量光学元件表面的划痕及麻点等级，克服目前工厂中只能依赖人工观测光学元件表面质量的瓶颈，有望改善光学表面检测的技术水平；.5. 基于色散成像系统搭建了一套颗粒三维位置测量的装置，通过融合三个颜色通道的信息具有更大的测量范围和更高的精度，能够克服衍射造成的影响，且不受颗粒形状的干扰，测量不规则颗粒；.6. 基于小波变换开展了色散多焦图像融合研究，取得了较好的景深延拓效果，为基于变换域实现色散多焦图像融合提供了一种解决思路。. 在项目的资助下，共发表学术论文15篇，其中SCI收录一作或通讯11篇，共申请发明专利6项，已授权1项，协助培养硕士研究生5名，系统研究了色散成像系统的设计、性质及应用各个环节，为后续在各领域应用提供了理论与技术支撑。