无人车多视视频信息获取与定位关键技术

Focusing on the urgent demands of self-driving technology in the aspect of high accuracy environmental perception, this project would study the multi-view video information acquisition of unmanned vehicle. To address the issue of recognizing the surrounding objects in all weather conditions and complex environment, this project will investigate a novel theory and technical framework of computational photograph. The main contents of this project include (1) Design a potential target locating and compressing model based on time series, multi-view, and hierarchical structure. It will conduct feature extraction of potential targets around self-driving cars in complex environments. (2) Design a feature correlation modeling and clustering method or multi-view video data. It will conduct visual information location of the objects surrounding the vehicle. (3) Study the computational photograph structure guided by the domain knowledge of vehicle driving. It could understand and reconstruct the visual environment of the objects surrounding the vehicle. In this project, an accurate and efficient computational photograph prototype system will be implemented to promote the ability of environmental awareness of self-driving vehicle under complicated environment. It could provide the technical support for the application of the self-driving vehicle in the open road.

本项目拟开展基于多视视频数据的车辆周围视觉信息获取，构建面向无人车平台的新一代计算摄像理论方法与技术框架，以适应在全天候、全路况、复杂环境下对周围目标的认知能力，从而满足自主驾驶技术在高精度环境感知方面的迫切需求。本项目主要研究内容包括(1)针对复杂环境下的视觉信息获取，设计基于时序、多视角、层级式潜在目标信息融合模型，实现无人车周围潜在目标特征提取；(2)针对来源于多视视频信息特征刻画，设计目标数据特征关联建模与聚类算法，实现车辆周围目标视觉信息定位；(3)针对复杂环境下的计算摄像，应用车辆行驶领域知识，研究多元融合的计算摄像结构，实现车辆周围视觉信息获取及重建。本项目将依据上述研究内容，实现一套精准而高效的车辆周围目标计算摄像原型系统，提升复杂环境下的无人车环境感知能力，在实践中探索和验证自主驾驶的科学问题，为实现面向开放道路的无人车推广应用提供技术支撑。

本研究面向无人车平台满足自主驾驶在高精度环境感知方面的迫切需求，开展基于多视视频数据的车辆周围视觉信息获取与定位研究，构建面向无人车平台的新一代计算摄像理论方法与技术框架，以适应在全天候、全路况、复杂环境下对周围目标的认知能力。主要研究内容如下：（1）针对复杂环境下的视觉信息获取，采用计算摄像结构获取多视角行为动作信息，设计基于时序、多视角、层级式潜在目标信息融合模型，提出多视视频信息特征平衡的层级式联合提取方法，实现无人车周围潜在目标信息关联的特征提取；（2）针对多视视频数据的目标关联建模方法缺少和快速定位的问题，设计目标数据特征关联建模与聚类算法，提出基于注意力机制的时间序列多视视频信息潜在目标时空关联建模，有效实现车辆周围目标视觉信息的定位；（3）针对复杂环境下的计算摄像，提出基于多视视频信息时空神经网络无监督学习的目标获取与重建方法，实现车辆周围视觉信息的精准获取；（4）构建基于无人车多视视频信息获取与定位的计算摄像原型系统，有效提升复杂环境下的无人车环境感知能力。基于上述研究内容，发表在SCIENCE CHINA Information Sciences等期刊和会议的学术论文共30篇，其中包含SCI期刊收录论文7篇，EI期刊会议收录论文19篇（见附件的检索报告），CSCD期刊10篇，第一标注16篇，项目负责人作为第一作者/通讯作者共发表SCI/EI期刊会议收录论文16篇；授权国家发明专利5项，申请受理国家发明专利7项，获得软件著作权12项；编写专业教材1部；项目负责人先后以第一完成人获得2022年中国图象图形学学会科技进步一等奖和2020年中国电子学会科学技术【技术发明类】二等奖，并在项目执行期间带领团队获得国内外人工智能、无人驾驶领域重要赛事特等奖/一等奖共4项，其他等级获奖10项；培养了研究生12名；组织国内外学术会议/论坛9次，受邀在国内外学术会议做报告6次；科学研究任务带动人才培养获得第六届全国教育科学研究优秀成果奖二等奖和北京市教学成果二等奖。项目取得了一系列原创性成果并开展了产业应用落地。