异构双尺度混合视觉系统目标精确定位方法研究

Vision-based target location is the effective approach for environment perception and has been researched widely. The binocular system adopted traditional perspective vision and catadioptric panoramic vision always suffers from the narrow field of vision and limited detectable distance. The hybrid vision technique becomes one novel perception method for which consists of perspective and panoramic vision elements holds the field and distance priorities. The traditional object location algorithm is not effective for hybrid vision system since the imaging principle and scale are different between the two heterogeneous vision elements. For handle this challenging and imperative issue, the equivalent baseline and cooperation calibration method, the precise feature matching algorithm in different scale image and the location model for heterogeneous and double-scale vision system are explored in this project. The coalition calibration approach is discussed for handling with the non-linear panoramic image and linear perspective one based on the virtual equivalent baseline. For solving the pixel-size difference of feature between the two scale vision systems, the compressive sensing and dimension reduction algorithm are fused for proceeding the feature precise matching, the location model for this hybrid vision system is derived from bipolar geometry. The expected research findings and some interesting achievements will benefit object detection and environment perception technology in large field of vision and long distance scenario.

基于纯粹视觉实现目标定位是环境感知领域的研究热点，常规双目视觉和双目全景视觉分别存在视场狭小和作用距离有限的缺点。两者联合构成的混合视觉系统兼顾了视场和可视距离双重因素正逐渐成为实现大视场远距离环境感知的有效手段。由于系统中视觉基元成像原理相异且目标成像尺度不同，导致经典双目视觉定位算法失效。本项目针对此系统特点，重点研究异构视觉系统基线确定及联合标定、不同尺度下目标特征精确匹配算法和异构双尺度混合视觉系统目标定位求解模型等关键技术。通过构建系统等效基线，突破非线性全景成像和线性透视成像构成的混合系统联合标定方法；针对目标在不同视觉基元中存在成像尺度偏差的特点，拟采用压缩感知和降维描述相结合的方法实现双尺度下的目标特征的精确匹配，并以此为基础建立异构双尺度混合视觉系统目标定位求解模型，最终解决混合视觉实现目标精确定位的基础性问题，为实现大视场远距离目标探测和环境感知提供理论基础和技术。

由单视点折反射全景相机与普通透视相机相结合的异构立体视觉系统主要优势体现在能够获得被监控区域的全景图像，同时又能够获得局部的高分辨率信息。可以通过两个相机的协同工作获得场景的深度信息，两个相机也可以独立工作。本项目通过研究旨在对异构立体视觉系统三维重建过程中的关键问题进行探索，着重研究了异构立体视觉系统的自动校正、全景图像的质量增强、深度图修复以及前景目标分割等技术内容。针对动态的异构立体视觉系统提出了一种自动校正算法，以解决折反射相机和传统透视相机之间相对位置不固定的问题。算法首先将全景图像进行透视展开，然后采用基于零填充的分辨率归一化算法将异构立体图像对进行分辨率归一化，通过提出的归一化矩阵优化算法来求解归一化矩阵，以提高基础矩阵的准确性。为了提高全景图像的质量来降低异质性，提出了全景图像去散焦模糊算法和异构立体图像的超分辨率重建算法。针对全景图像分辨率低的问题，提出了变分贝叶斯超分辨率重建算法。该算法的关键技术在于使用改进的全变分先验分布建立局部高分辨率图像和对应视角的局部低分辨率图像之间的先验关系。针对立体图像对之间存在视差，提出了改进的二阶平滑度先验算法对深度图进行修复。最后，为了提高异构立体视觉系统的适用性，提出了一种前景分割算法，从而使异构立体视觉系统能够对前景目标进行单独地三维重建和分析，该算法结合了基于区域生长的分割算法和基于边缘检测的分割算法，比起现有的目标分割算法，优势在于能够实现完整的自动分割，无需用户的交互式行为和复杂的背景模型。项目研究通过在室内环境和室外环境中使用异构立体视觉系统对研究算法进行了有效性验证。