基于视觉的高速公路匝道场景理解

To correctly identify freeway ramp is one of the key tasks that a unmanned-vehicle is able to effectively conduct its assigned task. This project focuses on "Vision-based scene understanding of freeway ramp", devoting to analyze and understand the visual scenes of freeway ramp: ( 1 )Pre-process scene image : establish a no-reference image quality index based on surface curvature to reduce and eliminate low-quality scene image's adverse impact on scene understanding; ( 2 ) Extract the region of interest : integrate the top-down and bottom-up visual attention mechanism to construct task-related detection model of interest region ; ( 3 ) Segment the potential target: combine edge and regional information, construct a new B-spline level set segmentation model to determine the potential target area; ( 4 ) Recognize the directional arrows: format the unified description of objects' characters, construct their statistical templates, optimize the feature point set matching by topology information and recognize the directional arrows ; ( 5 )Identify the ramp : employ the multi-frame information of directional arrows to identify the freeway ramp. The implementation of this project will provide technical support of real-time freeway scene analysis for the unmanned-vehicle drive.

高速公路匝道口的正确识别是无人车是否能够有效完成指定任务的关键之一。本项目围绕"基于视觉的高速公路匝道场景理解"这一课题展开，研究仅依靠视觉的自然环境下的高速公路匝道场景分析和理解:(1)场景图像预处理：建立基于曲面曲率的无参考图像质量评价模型，降低或消除低质量图像对场景理解能力的影响;(2)感兴趣区域提取：融合自顶向下和自底向上的视觉注意机制，构建任务相关的感兴趣区域检测模型;(3)目标对象分割：综合图形边缘和区域信息，构造新的B样条水平集分割模型，确定待处理对象区域;(4)导向箭头识别：构造对象的特征统一描述并形成统计模板，利用拓扑结构信息优化特征点集匹配，并识别判断;(5)匝道场景理解：利用多帧导向箭头的联合信息准确判断车辆前方高速公路是否有匝道。通过本项目的实施，为车辆在高速公路匝道场景自主行驶的实时路况分析提供技术支撑。

本项目针对无人车视觉环境感知问题，主要研究高速公路匝道口场景理解关键技术，在场景图像预处理、感兴趣区域提取、目标对象分割、导向箭头识别以及匝道场景理解等方面展开了一系列的理论研究。针对高速公路匝道场景图像，提出了图像清晰度判断、消失点检测、车道线检测、图像目标分割以及导向箭头识别等一系列新的理论模型和算法，从数学和认知的角度为解决高速公路匝道场景理解中的难点问题提供了新的思路，取得了一系列科研成果。在场景图像预处理方面，提出了无参考图像的图像清晰度判断模型，提出了一种不变透视模式的图像预处理方法；在感兴趣区域提取方面，提出了基于韦伯定理和基于Log-Gabor的一系列道路消失点检测方法，提出了基于改进霍夫变换的车道线检测方法；在目标对象分割方面，提出了基于统计信息、水平集、深度神经网络的一系列目标分割方法；在导向箭头识别方面，提出了基于广义霍夫变换、残差稀疏表示、深度学习的一系列目标识别方法；在匝道场景理解方面，通过具体实现提出的理论模型与关键技术，根据多帧导向箭头的联合信息在模拟场景下对高速公路匝道场景进行判断。通过本项目的实施，为智能车辆的高速公路匝道场景理解提供理论基础和技术支持。项目资助发表了SCI论文23篇，EI论文16篇，申请发明专利3项。在国内外学术交流方面，多次邀请国际知名专家来校进行学术交流，多次参加知名国际会议如ICIP2016，ISBI2017，MICCAI2017，ITSC2017，ICSPAC2017等。人才培养方面，近几年先后培养了一批优秀的人才，其中出站博士后1名，已毕业博士4名，硕士3名。