道路场景视觉感知的交通要素线框模型表示与计算方法研究

The representation and computation of the traffic element models in road scenes is an important research topic in the community of intelligent transportation systems. Existing computation methods for traffic elements based on vision perception data ignore the discrimination and collaboration of static layout and dynamic traffic element models. Moreover, the spatial-temporal correlation between traffic elements is rarely used. To solve these problems, this project aims to study the representation and computation of the cuboid models of traffic elements based on the vision perception data of road scenes. Firstly, we analyze and represent the spatial-temporal correlation between static traffic elements based on the applicant’s existing work of analysis and synthesis of traffic scene elements. The layout cuboid models are then predicted by applying the structural inference and learning methods. Secondly, we generate the cuboid models for the moving objects in image sequences. The prior information such as the location, shape and spatial-temporal context of the dynamic traffic elements are computed. Thirdly, the cuboid models of point clouds of moving objects are initialized based on the feature mapping of laser point cloud and image data. The complete model of the dynamic traffic element is synthesized based on the incremental registration of joint image and point cloud data. The implementation of this project provides reliable technical method for spatial-temporal modeling of road scenes based on vision data. The research achievement can be applied to the offline test of unmanned vehicles and advanced driving assistant systems, etc.

道路场景中交通要素模型的表示与计算，是智能交通系统领域的一项重要研究内容。现有基于视觉感知数据的交通要素模型计算方法，忽略了场景静态布局模型与动态交通要素模型的区分度与协同性，并且很少利用交通要素之间的时空关联特性。针对这些问题，本项目旨在研究道路场景视觉感知的交通要素线框模型表示与计算方法。以申请人已有的交通场景要素分析与合成工作为基础，计算并表征静态交通要素的时空关联关系，以结构化推理和学习方法预测场景布局线框模型；基于图像序列中运动目标的位置、形状、时空上下文等先验信息，利用三维物体推荐生成场景中动态交通要素的线框模型；基于激光点云与图像数据的特征匹配，对运动目标的点云线框模型进行初始化，利用图像和点云相联合的逐步求精点云配准，合成动态交通要素的完整点云模型。本项目的实施可为基于视觉的道路场景时空建模工作提供可靠的技术手段，相应的研究成果可应用于无人车离线测评、高级驾驶辅助系统等。

本项目的研究目标是道路场景中交通要素线框模型的表示与计算。按照项目申请书，本项目的主要研究内容包括道路场景的静态布局模型分析、动态交通要素的线框模型表征、动态交通要素的点云线框模型生成。基于三个研究内容，项目拟主要解决道路场景时空布局模型预测等科学问题，并完成具有良好用户体验的动态道路场景建模及仿真软件，在国际权威期刊和会议上发表论文4-7篇，其中SCI论文3篇以上；申请专利1-2项；指导硕士研究生3人，协助培养博士研究生2人。三年以来，项目成员围绕项目目标展开了深入研究，在道路场景时空布局模型预测等科学问题上取得了较大的科研进展。具体地，在道路场景的静态布局模型分析方面，提出了新的基于超像素马尔科夫随机场的道路场景建模及仿真方法，提出了基于对抗生成神经网络的道路场景风格迁移方法；在动态交通要素的线框模型表征方面，提出了基于元素注意力机制的道路场景语言标签生成网络，提出了基于点云视锥体分段的三维目标检测方法；在动态交通要素的点云模型生成方面，提出了联合边缘图卷积的点云语义分割方法，提出了基于相关熵的多视角彩色点云配准方法。基于上述研究内容，项目共发表论文20篇，其中在IEEE Transactions on Intelligent Transportation Systems, Information Sciences, IEEE Multimedia, Neurocomputing等著名SCI期刊上发表论文8篇，获得专利授权1项，申请专利2项，获得软件著作权2项；指导硕士研究生5人，协助指导博士研究生2人。完成了项目计划书制定的所有目标。项目研究成果，已应用于国家自然科学基金委主办的中国智能车未来挑战赛。目前，项目负责人在积极和企业进行洽谈合作，有望将项目的研究成果转化为经济效益。