智能汽车视觉环境感知中基于物理成像机理的数据增强及评价研究

Facing to the application requirements of visual environmental perception of intelligent vehicle, this project aims to solve the data bottleneck problem in deep learning according to data augmentation and assessment. First of all, an integrated digital camera model which considers the most important imaging charactistics that can influence the capability of deep learning model will be proposed. Secondly, according to the characteristics of the existing labelled datasets, the parameters estimation methods of camera model based on single image is studied, then the parameters of the camera model are automatically obtained. Thirdly, based on the camera model and the estimated parameters, the method of inverse calculation and recovery the scene radiance is studied, augmented datasets will be generated after migration of the cameras' imaging characteristics. At last, image quality assessment strategy is designed to evaluate the effectiveness of the augmented data to improve the deep learning performance. The data augmentation method proposed by the project can automatically produce a large number of high quality image data that conforms to the imaging characteristics and physical imaging mechanism, and the annotation information is retained. Moreover, the proposed data augmentation method has a good adaptability that it can be combined with other data augmentation techniques. This project has strong theoretical significance and practical application prospect.

面向智能汽车视觉环境感知的应用需求，针对深度学习模型训练的数据瓶颈问题，项目将根据相机物理成像机理研究数据增强及评价方法。首先，通过研究一体化数字相机建模方法，提出可表达影响网络模型性能的重要成像特性的数字相机模型；其次，根据已有的带标注数据集特点，研究基于单帧图像的相机模型参数估计方法，自动获得相机模型参数；再次，基于相机模型与估计参数，研究逆向解算并恢复场景辐射度方法，进而产生多类相机成像特性迁移的增强数据；最后，设计图像质量评价策略，完成增强数据对深度学习性能提升有效性的评估。项目提出的数据增强方法可自动产生符合成像特性的大量高质量的、保留标注信息的图像数据，可以与其他数据增强技术混合使用，有较好的适应性。因此，项目具有较强的理论研究意义及实际应用价值。

面向智能汽车视觉环境感知的应用需求，针对深度学习模型训练的数据瓶颈问题，项目基于车载相机成像机理研究入手，通过光线追踪和光栅化两种方式建立了相机仿真模型，并形成一套完整的车载相机数字仿真方案。项目分析了相机成像过程中各主要因素对卷积神经网络泛化能力的影响，为生成数字化虚拟成像样本提供了数据支持。项目提出了一种基于单帧图像实现场景辐辐射度重建的方案，基于重建场景可结合任何一种相机的相机响应函数，从光度学角度实现样本数据增强，实验证实了本数据增强方法可有效性。项目构建了一套自动驾驶虚拟相机数据集，面向于具体的应用需求，利用经典网络训练结果实现对虚拟仿真数据的质量评估，并探讨了如何提升仿真图像质量，用于加强对卷积神经网络模型训练的数据增强能力。项目提出的相机建模及数据增强方法可自动产生符合成像特性的大量高质量的、保留标注信息的图像数据，具有较强的实际应用价值，目前部分技术已经部分进入产业化应用阶段。