面向视觉辅助驾驶的弱小目标检测及网络模型轻量化研究

Perception of the driving environment is the prerequisite for intelligent driving assistance technology and is also an important part of the intelligent driving assistance system. Target detection based on computer vision is an important precondition for driving environment perception, and the detection of weak targets is an important basis for whether the driving function can be actually applied. The performance of existing target detection methods for weak and small target detection is poor. Otherwise, the speed of the target detection methods cannot meet the requirements of mobile hardware and other issues. Regarding the issue above, the topic will start the research on weak small target detection and recognition and network compression for vision assisted driving. The high-resolution feature extraction of small target, object detection based on multi-task network and network compression are the key research, in order to solve the key issue of object detection. The achievement of this application will focus on the actual demands for driving assistance technology, breakthrough the critical technologies, and building test platform for technical study and demonstration applications, which will lay a solid foundation for future application.

行车环境的感知是智能辅助驾驶技术的前提，也是智能辅助驾驶系统的重要组成部分。基于计算机视觉的目标检测是行车环境感知的重要前提，而弱小目标的检测是辅助驾驶功能是否能够实际应用的重要基础。现有的目标检测方法对于弱小目标的检测性能差，目标检测速度不能适应移动端硬件的要求等问题。针对上述问题，本研究课题拟开展面向视觉辅助驾驶中弱小目标检测跟踪及网络模型轻量化的研究。重点开展弱小目标高分辨特征提取研究、基于高分辨特征提取的多任务目标检测跟踪研究、面向多任务网络的网络模型轻量化研究。重点解决弱小目标的检测性能差和网络模型的轻量化问题。面向视觉辅助驾驶的视觉需求，突破关键技术，建立相关的实验验证平台，为研究的应用推广奠定基础。

本课题主要针对现有的辅助驾驶方面所存在的问题和不足开展研究，主要关注视觉辅助驾驶技术中的弱小目标检测和网络模型的轻量化和部署问题。将基于深度学习的特征提取、深度目标检测、目标跟踪、网络模型的轻量化、基于视觉深度估计方法与汽车辅助驾驶相结合，实现道路前方弱小目标如车辆、行人检测以及深度估计等内容。.针对研究计划中的研究内容中的特征提取、目标检测及模型轻量化方面，申请人提出了一种Gaussian-IoU的目标检测方法，用于实现快速的弱小目标检测，同时提高目标检测的准确率。同时申请人还提出了三种用于车辆辅助驾驶中前方场景深度估计方法，用于提升车辆辅助驾驶中，道路场景中的目标特征提取和深度估计的准确性，利用深度信息提升目标特征提取以及弱小目标检测过程中特征较少的问题。另外，特别针对模型轻量化方面，申请人开发了一系列工业化的视觉系统，包括炉前AOI检测系统、X-Ray点料系统、智能异形件插件系统等（详细描述见第三部分）。系统利用深度学习网络，在工业环境中进行了实践，实现了工业生产环境中的多种类目标检测。根据工业流水线中的生产节拍要求，进行网络模型优化，轻量化网络模型，实现实时的目标检测任务，满足流水线不停线检测的要求，达到了网络压缩和轻量化的要求。并且申请人建立了工业生产环境元器件的大规模数据库，包含近50万张相应的元器件图像，实现了对目标检测过程的大数据分析。通过不断优化模型和模型可视化过程，进一步研究了目标特征的提取。针对目标跟踪方面，申请人在对工业目标的检测的基础上进行了进一步的多目标跟踪方法研究，通过多目标的跟踪以及利用跟踪结果进行先验限定，进一步提升目标检测的准确度和减少实时检测的时间，同时加入深度估计信息等特征，进一步提升目标跟踪的准确度。目前申请人正着手利用Transformer网络进一步优化目标特征提取效果，以提升目标检测效果。相关成果已发表SCI论文四篇。.