基于视觉计算的智能驾驶实时城市道路场景理解

Computer vision has a wide range of applications in the field of traffic. The application of visual computing to intelligent driving is of great significance for improving traffic safety. Under the guidance of visual computing and deep learning theory, aiming at the complex driving environment of urban roads and the actual demand of intelligent auxiliary driving, our project studies the real-time road scenes understanding based on visual computation. According to the strict latency requirements of on-board devices with low computational resources and low power consumption, we propose a kind of lightweight full convolution neural network architecture for the semantic understanding of road scenes. For the lack of accuracy, robustness and other issues of the multi-type and multi-lane fitting algorithm, we present a method of global continuous modeling of multi-lane based on cubic curves. Aiming at the lack of accuracy in target ranging algorithm in moving scenes, this paper proposes a real-time accurate ranging method for static and dynamic targets in traffic scenes. Based on the above, the low-level semantics of road scene understanding: semantic segmentation of road scene and target detection and recognition; middle-level semantics: accurate fitting of multi-lane, precise distance measurement of targets; high-level semantics: lane departure detection, precise distance measurement of static and dynamic targets in front of the car and in blind spots, analysis of dynamic target behavior and behavior analysis of vehicle in adjacent lane. The research will be incorporated into the practical tasks of intelligent assistant driving as verification and application.

计算机视觉在交通领域中具有广泛的应用，将视觉计算应用于智能驾驶对提升交通安全具有重要意义。本项目以视觉计算、深度学习理论为指导，针对复杂的城市道路驾驶环境，面向智能辅助驾驶实际需求，研究基于视觉计算的实时道路场景理解。针对低算力、低功耗车载运算设备的实时运算需求，提出一种用于全局的轻量化全卷积神经网络架；针对多类型多车道线拟合算法的精准性、鲁棒性不强等问题，提出一种基于三次曲线的多车道线全局连续建模拟合方法；针对运动场景中目标测距算法中精准性欠缺的问题，提出一种交通场景下动、静态目标的实时精准测距方法。基于以上，实现道路场景理解的低层语义：道路场景语义分割和目标检测与识别；中层语义：多车道线精准拟合、目标精准测距；高层语义：车道偏离检测、车前方和盲区内静动态目标精准测距、动态目标行为分析和相邻车道车辆的行为分析。本研究将纳入到智能辅助驾驶的实际任务中进行验证和应用。

智能驾驶是人工智能领域中非常前沿的研究方向。本项目研究基于视觉计算的智能驾驶实时城市道路场景理解。项目完成研究内容有：（1）基于深度神经网络的道路场景目标检测。真实道路场景复杂多变，本项目通过研究改进深度学习网络框架，提高真实道路场景中的目标检测精准度。为解决道路场景中交通标志检测难题，提出一种基于Libra R-CNN 改进的交通标志检测算法。为解决道路场景中小尺度车辆目标的识别问题，提出基于改进无锚框网络的小尺度车辆目标检测方法，并采用融合可变形卷积网络，来解决鱼眼镜头成像畸变导致目标检测难度大的问题。（2）基于深度神经网络的行人重识别。行人重识别是从若干组摄像设备拍摄的多张多角度行人图片或视频中寻找目标行人的技术，本项目采用基于局部特征关联与全局注意力机制的行人重识别和基于显著性多尺度特征协作融合的行人重识别方法来提高行人重试别的准确度进而加深对道路场景的理解。（3）基于深度神经网络的行为识别。行为识别的主要任务是分类识别，通过特征抽取分类预测其类别进而加深对城市道路场景中行人行为的理解，课题组提出了一种基于时空注意力图卷积网络模型的人体骨架动作识别算法以更好地满足人体行为识别的实际应用需求。（4）基于深度神经网络的实例分割。针对实际驾驶环境中道路场景及车道线复杂多样的问题，课题组提出一种基于改进Enet网络的车道线检测算法。通过对Enet网络进行剪枝和卷积优化操作，并利用改进的Enet网络对车道线进行像素级图像语义分割，将车道线从图像中分离出来。项目执行期间，根据主要研究内容，形成道路场景目标检测、行人重识别、行为识别和实例分割等多个方面的研究成果，本项目成员和研究生发表学术论文30余篇，其中SCI期刊论文14篇。授权发明专利2项，授权软件著作权8项。本项目培养博士2人，培养硕士12人。团队成员1人晋升教授职称，1人晋升副教授职称。2020年获得WACV 2020 AVVision MTMC Tracking 挑战赛一等奖。2020年获得中国人工智能学会吴文俊人工智能科技进步二等奖。