复杂环境下基于单目大视角相机的广义障碍物鲁棒检测

In complex environments, generalized obstacle detection based on monocular vision is a significant issue in the field of intelligent vehicle,robot navigation,etc. In recent years,large FOV(field of view) camera has been used gradually for obstacle detection owing to its wide apperceive range. However, the imaging are distortion by using this kind of camera, which makes that many traditional obstacle detection techniques are difficult to be applied. How to realize generalized obstacle robust detection based on large FOV camera is an important task...In this project, Considering the imaging characteristic of large FOV camera, a projection transformation model will be presented for image rectification and a method for image invariable feature extraction and matching will be designed. Furthermore,a motion model will be developed to estimate the ego-motion parameter of the camera. At the same time,some key technologies for obstacle avoidance and navigation will also be researched, including generalized obstacle detection, on-line tracking ， obstacle occupancy grid maps generation,etc.The research contents contain some challenges in the field of visual obstacle detection. So researching it has very important theoretical significance and practical value. Meanwhile, the researching results can be applied in many fields, such as intelligent vehicle, automotive driver assistance,robot navigation,etc. which have significant market and practical value.

在复杂环境下，基于单目视觉的广义障碍物检测是智能车、机器人导航等领域的核心问题之一。近年来，大视角相机由于具有感知范围大的优点，逐渐被人们应用到障碍物检测领域。然而此类相机的成像存在着扭曲失真问题，这使得传统的障碍物检测技术难以被直接使用。如何基于单目大视角相机实现广义障碍物的鲁棒检测是一个重要研究课题。.本项目针对大视角相机的成像特点，提出大视角相机的投影转换模型，突破广泛变换下的图像不变性特征提取及特征匹配技术，并在此基础上建立相机自运动模型，研究基于多种不变性特征的运动参数估计技术、基于多特征融合的广义障碍物检测技术、在线跟踪技术以及障碍物空间栅格地图生成技术，从而实现任意类型障碍物的可靠检测与碰撞避免。本项目研究内容涉及视觉障碍物检测领域的难点问题，具有重要的理论与学术研究价值。同时，本项目研究成果可应用于智能车、汽车辅助驾驶、智能机器人导航等领域，可产生显著的社会价值和应用价值。

在复杂环境下，基于单目视觉的广义障碍物检测是智能车、机器人导航等领域的核心问题之一。近年来，大视角相机由于具有感知范围大的优点，逐渐被人们应用到障碍物检测领域。然而此类相机的成像存在着扭曲失真问题，这使得传统的障碍物检测技术难以被直接使用。如何基于单目大视角相机实现广义障碍物的鲁棒检测是一个重要研究课题。.本项目针对上述问题，搭建了实验室环境和车载实验环境，在全面调研相关领域今年成果的基础上，首先研究了大视角相机的成像变形处理技术和自车运动参数鲁棒估计技术，并在此基础上建立相机自运动模型。研究了基于多特征融合的广义障碍物检测技术，研发了横穿障碍物检测算法以及在线跟踪技术以及障碍物空间栅格地图生成技术，从而实现任意类型障碍物的可靠检测与碰撞避免。更进一步的，研究了广义障碍物鲁棒检测技术、基于3D空间布局理解的道路交通场景中的障碍物检测技术、基于CNN的道路交通场景中障碍物检测技术以及基于多姿态行人检测技术，并提出了基于图像特征点的识别方法及其3D重建方法。.本项目研究内容涉及视觉障碍物检测领域的难点问题，具有重要的理论与学术研究价值：发表论文10篇，申请专利15件，获得各级奖励9项。同时，本项目研究成果可应用于智能车、汽车辅助驾驶、智能机器人导航等领域，相关研究成果和系统已经获得了上汽、一汽、宇通等企业项目，产生了显著的社会价值和应用价值。