自顶向下融合多尺度卷积特征网络的交通标志识别方法

Traffic sign recognition is an important part of intelligent vehicle technology. At present, the traffic sign recognition method based on convolutional neural network has some problems, including the poor scalability of the convolutional neural network with a single benchmark training, and lack of stability of the convolutional neural network for extreme conditions and small traffic sign recognition. Aiming at solving these problems, this project focuses on the unified classification representation method of multiple benchmarks, and proposes a local context crop data argument and the training strategy with alternating iteration to improve the generalization ability of the network. Then, by modeling the top-down network with fusion of bottom-up multi-scale convolution features, the proposed method can achieve the multi-level semantic scaling of the original image, and improve the recall rate of extreme conditions and small size traffic sign detection. By modeling the concatenate and parallel ensembles of convolutional network, this method can construct the ensemble of convolutional network with better information mobility and better performance, and achieve the recognition of traffic signs accurately. At the same time, the algorithm is tested and verified by multiple benchmarks and the test-bed for connected and intelligent vehicles of Chang'an University. The achievements of this project can reveal the feature learning mechanism of the multi-scale network and the ensemble network, and provide the theoretical basis and technical supports for robust feature extraction and recognition of traffic signs, as well as improving the vision perception capability of road environment and the active safety of intelligent vehicles.

交通标志识别是智能汽车技术研究的重要内容。针对目前基于卷积神经网络的交通标志识别方法存在采用单一数据集训练的卷积神经网络平移扩展性差，且对极端条件与小尺寸交通标志识别缺乏稳定性等问题，本项目拟通过对多源公测数据集统一类别表征方法的研究，提出一种局部上下文裁剪的数据增强与网络交替迭代训练策略，提高网络泛化能力；通过对自顶向下融合自底向上多尺度卷积特征网络建模方法的研究，实现原始图像的多级语义缩放，提高极端条件与小尺寸交通标志检测的查全率；通过串联与并联卷积神经网络集合方法的研究，构建一种具有更优信息流动及性能表现的集合网络，实现交通标志的精确识别。同时，利用长安大学车联网与智能汽车试验场及多源公测数据集进行实车测试与算法验证。本项目的研究将进一步揭示多尺度网络与集合网络内部特征学习机理，为交通标志鲁棒特征的提取与识别提供理论依据与技术支持，从而提高智能汽车道路环境视觉感知能力及主动安全性。

交通标志检测与识别作为高级辅助驾驶系统的重要组成部分，其包含的道路交通信息对车辆的行驶起着指导作用，及时、准确地感知理解视野内的交通标志是引导车辆在道路交通系统中规范行驶的前提。然而在实际驾驶场景域中，交通标志存在尺度变化大、应用场景多变、不同地区分布不均匀、类内特征存在差异等问题，导致传统交通标志检测方法准确度低、检测结果不鲁棒，无法很好地应用在实际驾驶过程中。项目组针对上述问题展开相应研究，在复杂场景的图像增强算法、多尺度交通标志目标的特征提取与表征学习研究、大规模场景域微小交通标志检测网络构建、畸变信息表示网络构建以及复杂动态场景的全域感知与理解等多方面取得了重要进展，累计发表学术论文11篇，申请或授权专利15项。提出了面向复杂场景的图像增强算法、融合多尺度卷积网络与域适应策略的交通标志识别方法、自顶向下融合多尺度卷积特征网络建模方法、具有类层次结构的新型体系结构级联扫视网络等多项创新性研究成果，研究结果表明，项目组提出的算法与网络模型架构在不同场景、不同测试数据下，对复杂多变的交通标志样本都具有高识别精度、强鲁棒性以及特征平移扩展性。项目组通过对复杂交通场景图像增强技术的理论研究，探究环境因素对图像特征的影响机理，从而有效增强图像对比度；同时通过挖掘不同场景中目标与其特征表示的耦合对应关系，精准解析复杂场景下的关键目标，并基于对交通标志检测识别网络内部特征学习机理的分析，解决实际驾驶场景域中的交通标志检测与识别问题。本项目的研究将推动交通标志识别技术的进步，为我国新一代智能汽车主动安全产品的发展提供重要的理论基础与技术支撑。为进一步促成理论研究成果向实际应用的转化，项目组目前已与长安汽车构建了产、学、研、用的融合生态体系，双方联合开展自动驾驶平台基于视觉的目标检测与跟踪的研发与测试，以促进技术创新的协同整合发展。