基于认知构建的类人智能驾驶方法研究

With the deepening of research on self-driving cars, the traditional computing framework based on "perception-planning-decision-control" information processing is becoming more and more obvious in the problems of low efficiency, poor environmental adaptability and insufficient self-learning ability. How to understand and deal with environmental perception data from sensors based on the cognitive psychological level of the human driving process. This project explores a human-like intelligent driving method based on cognitive construction, to make self-driving cars with the mechanisms of memory, reasoning and experience update, so that it can handle the traffic scenarios with high noise, high dynamic and strong randomness. In this method, a shallow convolutional neural network is first used to construct a cognitive map that characterizes the relationships among various objects (vehicles on road, pedestrians, buildings, traffic signs, the surrounding sceneries, and self-driving car’s own states), and then the knowledge of the cognitive map is input to the recurrent neural network to learn and inference, so as to establish a new approach for cognizing traffic scenarios which fuses the mechanism of human-like attention, and has the abilities of reasoning and experience update. This project has important theoretical and practical significance to provide self-driving cars with new, more efficient and more reliable key technologies.

随着无人驾驶的研究深入，现有的基于“感知-规划-决策-控制”信息处理的无人驾驶计算框架越来越明显地表现出运算效率低、环境适应性差、自学习能力不足的问题。如何参照人类驾驶过程的认知心理层次来理解和处理来自传感器的环境感知数据。本项目探讨一种基于认知构建的类人智能驾驶方法，使无人驾驶系统具有记忆、推理和经验更新的机制，能够应对高噪声、高动态和强随机性的交通场景。该方法首先利用浅层卷积神经网络构建对交通场景表征和理解的认知地图，这里的认知地图不是一般意义上的地理信息构图，而是对交通场景非确定性过程中各个物体（路面车辆、行人、建筑物、交通标示、周围景物和无人车自身状态）的关联信息构图；然后将认知地图的知识输入到循环神经网络中进行学习和推理，从而建立一种融合类人注意机制的、具有推理能力和经验更新能力的交通场景认知新方法。

本项目主要围绕如何参照人类驾驶过程的认知心理层次来理解和处理来自传感器的环境感知数据这一科学问题展开研究，整体进展顺利，取得了一批重要研究成果。在基于认知构建的无人驾驶技术与平台方面，从认知科学的基本观点出发，实现了一种具有选择性注意机制与事件驱动的无人驾驶认知计算的基本框架，实现了对交通情景中的物体和可行驶区域的关联表征与情景理解的直觉推理，使无人驾驶能够适应更加开放、动态的复杂交通环境。在基于知觉物体的交通场景认知地图构建方面，提出了基于知觉物体的交通场景认知地图，表征了复杂场景中的事物，包括车道线、可行驶区域、行人、交通灯和其它物体，并且可描述它们之间的关系。在融合循环神经网络的类人注意机制的实现方面，将认知地图的知识输入到循环神经网络中进行学习和推理，建立了一种融合类人注意机制的、具有推理能力和经验更新能力的交通场景认知新方法。将循环神经网络与认知地图融合，模拟更加类人的认知过程，构建了基于类人注意机制的智能驾驶系统。在国际权威期刊和重要国际会议上发表论文66篇，包括CCF A类国际期刊和会议论文15篇。申请国家发明专利46项，其中获授权13项。获国际会议AIAI’2019最佳论文奖，国际会议ITSC’2019最佳学生论文奖，CVPR’2021 HACS视频行为时序定位挑战赛第二名。培养博士生5人，硕士生5人；2人获博士研究生国家奖学金，2人获硕士研究生国家奖学金，1人获西安交通大学优秀硕士学位论文。项目研究成果支撑西安交通大学无人驾驶智能车团队于2018-2020连续三年获得国家自然科学基金委员会主办的“中国智能车未来挑战赛”冠军。