仿人眼单目多聚焦立体视觉关键问题研究

Monocular stereo vision is of great significance for micro-miniature robots to reduce structural size and improve motion flexibility and concealment. It has great application potential in the fields of pipeline defect detection, medical minimally invasive diagnosis and treatment, military target reconnaissance and so on. The multi-focus stereo vision proposed in this project is a monocular stereo vision method. It simulates the focus adjustment perception mechanism of the human eye, and realizes three-dimensional environment perception through multi-focus images and imaging status information. It overcomes the collision problem of "motion before perception" existing in the traditional structure from motion method and the problems of external light interference and sensor size limitation existing in the traditional structural light method. The project relies on granted patents such as "A Monocular Multi-focus Stereo Vision Device for Robot Three-Dimensional Environment Perception", and intends to research three key issues of multi-focus stereo vision including image registration, image focus degree evaluation and scene depth estimation. The multi-focus stereo vision method simulating the focus adjustment perception mechanism of the human eye will be established by researching multi-focus image registration model and its parameter calibration method, designing the image focus analysis model linearly related to the diameter of circle of confusion, and proposing the scene depth estimation algorithm based on geometric optics. The research results will enrich the monocular stereo vision theory and lay the technical foundation for the application of multi-focus stereo vision.

单目立体视觉对于微小型机器人减小结构尺寸、提高运动灵活性和隐蔽性具有重要意义，在管道缺陷检测、医学微创诊疗、军事目标侦察等领域极具应用潜力。本项目提出的多聚焦立体视觉是一种单目立体视觉方法，它模拟人眼聚焦调节感知机制，利用自身获取的多聚焦图像及成像状态信息实现三维环境感知，克服传统运动恢复结构法“先运动，后感知”容易发生碰撞问题以及结构光法外界光干扰和传感器尺寸限制问题。项目依托“一种用于机器人三维环境感知的单目多聚焦立体视觉装置”等已授权专利，拟对多聚焦立体视觉中的图像配准、图像聚焦程度评价和场景深度估计三个关键问题开展研究，通过研究多聚焦图像配准模型及其参数标定方法、设计与弥散圆直径线性相关的图像聚焦分析模型、提出基于几何光学的场景深度估计算法，建立模拟人眼聚焦调节感知机制的多聚焦立体视觉方法。研究成果将丰富单目立体视觉理论，并为多聚焦立体视觉的应用奠定技术基础。

单目立体视觉对于微小型机器人减小结构尺寸、提高运动灵活性和隐蔽性具有重要意义，在管道缺陷检测、医学微创诊疗、军事目标侦察等领域极具应用潜力。本项目提出的多聚焦立体视觉是一种单目立体视觉方法，它模拟人眼聚焦调节感知机制，利用自身获取的多聚焦图像及成像状态信息实现三维环境感知。项目围绕多聚焦立体视觉中的图像配准、图像聚焦程度评价和场景深度估计三个关键问题开展研究。在多聚焦图像配准研究中，提出了基于光流跟踪的多聚焦图像特征提取与匹配方法，有效解决了常规方法在聚焦清晰区域提取特征数量多、在离焦模糊区域提取特征数量少引起的多聚焦图像之间特征匹配困难、匹配点对数量稀少和匹配精度不高的问题，构造了充足且精准的多聚焦图像特征匹配点对；利用Delaunay三角网格剖分对多聚焦图像进行了局部区域划分与匹配，实现了多聚焦图像局部配准，与目前广泛使用的方法相比，有效提高了多聚焦图像的配准精度，在多聚焦图像融合应用中取得了更优的效果。在图像聚焦程度评价研究中，提出利用分类卷积神经网络和三次样条插值分析图像聚焦程度，构建了与高斯模糊标准差等价的图像聚焦分析模型，克服了现有聚焦测度函数与图像内容相关、其数值不具备物理意义等不足；利用高斯模糊标准差与弥散圆直径之间的线性关系，建立了与弥散圆直径线性相关的图像聚焦分析模型。在场景深度估计研究中，模拟三维场景成像，开发了多聚焦图像生成器，结合多聚焦图像成像参数，实现了场景深度估计的计算机仿真，通过深度估计精度评价和成像参数优化，为场景深度估计实验中成像参数的选取提供了依据；提出了单目视觉系统成像参数的标定方法，并对聚焦形貌恢复算法进行了优化改进，设计了基于几何光学的场景深度估计算法，实现了单目多聚焦深度估计与三维重建。本项目建立了模拟人眼聚焦调节感知机制的多聚焦立体视觉方法，研究成果丰富了单目立体视觉理论，并为多聚焦立体视觉的应用奠定了技术基础。