夜间环境下多姿态精细车款识别方法研究

Vehicle Model Recognition belongs to typical fine-grained object recognition task. It has been a hot issue as well as a difficult problem in the domain of computer vision. Nighttime multi-pose vehicle model recognition (NM_VMR) can identify, lock and track specific vehicles effectively at night, which has broad application prospects in intelligent transportation, intelligent security and public security. However, the particularity of night environment and complexity of vehicle pose, make the existing feature extraction and classification algorithms difficult to work, thus increase the difficulties of vehicle recognition. This project focus on the research of NM_VMR, which includes: construct a large scale nighttime multi-pose vehicle dataset, in order to provide data support for follow-up research; focus on the feature enhancement of vehicles under the influence of low illumination, backlight and ambient light at night, and propose a vehicle feature enhancement method for nighttime vehicle images based on Generative Adversarial Networks (GANs); propose a research method for multi-pose vehicle model recognition based on base-view and part, explore the feasibility of pose estimation network, deformable convolutional kernel and part-based recognition technology to improve the recognition accuracy; design and optimize the network for NM_VMR, in order to further improve the recognition accuracy. This project aims to promote the development of vehicle related recognition technology, and provide reference for other multi-pose target recognition problems in the night environment.

精细车款识别是典型的目标细粒度识别任务，是计算机视觉领域的热点和难点问题。夜间多姿态精细车款识别有助于识别、锁定并追踪特定车辆，在智能交通、智慧安防和公共安全等领域具有广泛的应用前景。然而夜间环境特殊性、车辆姿态复杂性，增加了车款识别难度，致使目前存在的特征提取和细分类算法难以奏效。本项目开展夜间环境下多姿态精细车款识别研究：构建大规模夜间多姿态精细车款数据库，为后续研究提供数据支撑；针对夜间低照度、逆光、环境光影响下的车辆有效特征增强进行研究，提出一种基于生成对抗网络的夜间车辆有效特征增强方法；提出基于基视图与部件相结合的多姿态精细车款识别方法，探索姿态估计子网络、可变形卷积核、基于部件识别等技术在提升多姿态车款识别精度上的可行性；最后进行网络模型的设计和优化，以进一步提高识别精度。本项目旨在促进车款识别技术的发展，同时为夜间环境、多姿态下的其他目标识别问题提供参考。

车款识别一直是计算机视觉领域的研究热点和难点，在智能交通、无人驾驶等领域具有十分重要的应用价值。车款识别属于精细识别，由于车款数量众多,不同车款间差异较小,而相同车款则由于视角不同，外观差异较大，尤其是夜晚环境下获取的车辆图像，由于受逆光、各种城市灯光的影响，车身特征不明显，且存在伪特征，从而增加了车款识别的难度。本项目组围绕夜间多姿态精细车款识别问题，对夜间低照度，逆光、环境光干扰下的车辆细节特征增强方法，“多姿态”情况下的精细车款识别，夜间多姿态精细车款识别网络模型的设计与优化开展了研究。在本项目的资助下，发表了学术论文13篇，多篇论文发表在图像处理、模式识别的优质期刊上；获得授权发明专利6项、软件著作权登记3项；培养硕士生6名。在本项目的研究中，建设了一个大规模夜间多姿态精细车款数据库，可用于验证众多识别算法的可行性。提出了基于嵌入车辆姿态信息及与视角相关信息的卷积神经网络模型，以解决多视角影响下的车款识别问题；提出了一种基于残差网络特征重用的深度卷积神经网络模型以应对车辆姿态变化和复杂背景干扰问题；提出了基于生成对抗网络的方法以增加车款样本的数量，从而提高模型训练的效果；提出了卷积注意力模型架构单元和双阶注意力模块，以对网络模型进行优化，提高模型的识别效率；提出了夜间车辆图像增强方法，该增强方法的目的并非使图像在外观上便于辨识，而是在实际使用中有利于提升模型识别的准确程度。在车辆相关特征方面，开展了车标检测的研究，构建了新的骨干网络以提高车标检测的准确性和效率；提出了基于学习的多层金字塔网络，利用多分辨率提取特征以提高车标识别性能；提出了抗模糊特征提取策略和特征增强策略的车标识别；提出了一种变形车牌检测模型；上述方法有助于提升最终车款识别的精确度。本项目的研究具有重要的科学意义，多项研究内容是具有创新性和引领性的，有力地推动了夜间多姿态精细车款识别的研究和发展。