无人驾驶中4D场景实时解析算法研究

Intelligent driving has recently become a hot research topic in the academic and industrial fields, but the existing platform is still highly dependent on the laser or radar ranging sensors for scene analysis. These sensors have high accuracy, but the high price has hindered the intelligent driving entering the civilian market. In addition, the existing platform cannot fully identify the obstacles, and the ability of understanding is not enough. In this research, we use the latest computer vision and deep learning methods to carry out scene analysis based on visual 3D technology. The research group uses existing intelligent driving platform to conduct the experiment with the monocular and binocular cameras. First, we propose a two-stream 3D feature learning model through the monocular and depth image. Second, the 3D convolutional neural network is adopted to the target detecting and the long-short temporal memory is used for recognition. We then design an evolving topological graph to solve the multi-target tracking problem. Finally, 4D objects are output after the scene analysis in a global view. The whole system realizes an end-to-end scene analysis, improving the detection and tracking accuracy in a real-time level.

无人驾驶车辆近年来成为学界工业界研究热点，但现有的无人驾驶车辆平台仍然高度依靠激光雷达等测距传感器进行场景解析。这些传感器虽然精度很高，但是昂贵的价格阻碍了无人车辆走入民用市场。此外，现有的无人驾驶平台利用激光雷达无法对场景及目标障碍进行充分的识别解析，理解能力不足。本研究应用最新的计算机视觉和深度学习方法，开展基于视觉3D技术的场景解析研究。申请人利用课题组现有的无人驾驶平台，使用单目和双目摄像头作为研究设备，在底层通过单目图像和双目深度图像异质融合完成3D特征深度学习，中层通过3D卷积神经网络进行实时检测和长短记忆单元实现目标状态确认，高层语义约束下的动态拓扑图多目标跟踪，最后进行时间空间4D场景目标解析，实现复杂动态场景内端到端的多目标识别跟踪系统，提高无人驾驶对交通场景解析的实时性，准确性。

自动驾驶导航已经得到广泛的关注和研究，但现有的移动机器人平台仍然非常依靠激光雷达等测距传感器。这些传感器虽然精度很高，但是这些设备的价格甚至超过平台本身，阻碍了移动机器人产品真正走入民用市场。在本项目研究中，我们依托项目组现有的无人驾驶平台，使用价格低廉的单目和双目摄像头作为研究设备，应用最新的计算机视觉和深度学习方法，开展基于视觉4D技术的自主导航研究，完成复杂场景内的多种目标物实时检测、定位、识别和跟踪。本研究在底层通过单目图像和双目深度图像异质融合完成3D特征深度学习，中层通过3D卷积神经网络完成进行实时检测和长短记忆单元实现目标状态确认，高层语义约束下的动态拓扑图多目标跟踪，实现复杂动态场景内端到端的多目标识别跟踪系统，提高现有视觉3D技术在检测跟踪的实时性，准确性。最后，本研究将系统应用到项目组现有无人驾驶平台与激光雷达数据进行对比，进行视觉4D的方法进行对比验证，弥补高成本测距传感器在语义理解能力的不足，取得较好结果。本项目虽然执行时间较短，但是已经发表了高水平期刊会议论文两篇（包括IEEE TIP），在投一篇，申请专利技术一项。