智能汽车视觉感知中多相机联合成像机制探索

Boosted by the upsurge of intelligent manufacturing, the demand of supplying the high-resolution omnidirectional vision information for vehicle becomes rather urgent, and vision perception based on multi-camera system has been concerned extensively. The faults like cracks and ghosts do exist on the stitched images due to the non-monocentric imaging, and lots of vision information has been lost because of the insufficient utilization of multi-camera aggregation. To stimulate more flexible vision perception for smart car, this project will explore the joint imaging mechanism of omnidirectional multi-camera system, and study the imaging theory of multi-camera system and the method of image stitching..The main research contents include: (1) Analysis on the joint imaging characteristic for multi-camera system in vehicle, revealing the constraint mechanism imposed on omnidirectional vision perception by the pose of multi-camera system. (2) Research on the image registration with large parallax based on feature points, exploring the influence mechanism imposed on the quality of image stitching for multi-camera system by big parallax. (3) Research on the image fusion method for omnidirectional vision perception, implementing the ground test for the self-driving vision perception. The exploration about joint imaging mechanism of multi-camera system for vision perception of smart car proposed by this project, is able to provide the theoretical basis and technical methods for high-resolution omnidirectional imaging, and produce significant impacts both in academic and application areas.

在智能制造浪潮推动下，为汽车提供全方位高分辨视觉信息的需求极为迫切，基于多相机系统的视觉感知受到广泛关注。然而，非同心成像造成拼接图像存在裂缝和鬼影等瑕疵，多相机聚合优势未充分挖掘造成视觉信息利用率较低。为推动更为灵活的智能汽车视觉感知发展，本项目拟深入探索全方位多相机联合成像机制，重点研究多相机成像理论及图像拼接方法。.本项目主要研究内容包括：（1）车载多相机系统的联合成像特性分析，以揭示多相机位姿对全方位视觉感知的约束机理；（2）基于特征点的大视差图像配准问题研究，以探究大视差对多相机图像拼接质量的影响机制；（3）全方位视觉感知的图像融合方法研究，以实现全方位视觉感知的实车验证。本项目拟开展的智能汽车视觉感知中多相机联合成像机制探索研究，能为全方位高分辨成像提供理论依据和技术手段，对智能汽车视觉感知具有重要学术意义和工程价值。

在汽车视觉感知应用中，需要同时清晰地感知近处与远处的目标，也需要在较大视场范围内清晰地感知目标，这对成像系统提出了严峻的挑战。一种切实可行的解决方案是利用多相机联合成像，为汽车提供全方位高分辨视觉信息。针对这个实际问题，本项目深入分析并围绕如何实现不同焦距相机的图像配准、如何实现视差成像条件下的图像拼接，展开了相关研究工作，试图为远近处目标检测和跨相机目标感知等后续应用提供理论和技术基础。.本项目的主要研究进展包括：（1）提出了通用的不同焦距相机的快速图像配准框架，并针对因镜头投影曲线、相机装调、成像位姿等造成的局部配准难题，提出了基于分区映射和基于网格优化的精细配准技术；（2）基于划分判别和拓扑结构的思想，提出了视差成像条件下的特征点匹配方法，并在此基础上对拼接缝能量函数进行优化，实现了视差规避的图像拼接；（3）从小目标视觉感知应用研究入手，提出了融合多尺度特征与注意力机制的改进深度神经网格，进而扩展研究了深度学习的应用，提出了使用迁移学习提高免疫层析定量检测精度的方法。.本项目所做工作取得了一定的研究成果，在一定程度上为多相机成像的理论和技术提供了发展思路，为多相机成像的应用提供了技术支撑。