基于深度学习的智能交通视频目标检测识别和跟踪方法

This project focuses on deep learning theory, studies the highly robust deep learning models and its detection, recognition and tracking method for intelligent traffic video moving objects. The project aims to construct the more complete theory for traffic video intelligent monitoring based on deep learning model. The main content of the project include: (1) a multi-task deep learning based model is proposed for object detection in video; (2) three algorithms are proposed to efficiently improve the robustness of deep learning model: An GAN and Adversarial Example based deep generative model algorithm, a soft-classification based deep learning model algorithm and an improved GAN model based semi-supervised learning algorithm; (3) the object tracking method based on deep reinforcement learning for traffic video is proposed and meanwhile a simplified object tracking framework is presented. In addition, a dual-network object tracking method based on deep convolutional neural network is studied and proposed to construct both action function and evaluation function networks. Based on the above theoretical research achievements, the project will build an intelligent traffic video object detection, recognition and tracking system based on deep learning theory, which is used to test algorithms performance and further research, and provides platform support for future practical applications.

本项目围绕深度学习理论，研究高鲁棒性深度学习模型及其用于智能交通视频运动目标的检测识别与跟踪方法，力图构建较为完整的基于深度学习模型的交通视频智能监控理论方法。项目主要研究内容包括：（1）研究并提出基于多任务深度学习的视频运动目标检测模型；（2）研究并提出高鲁棒性深度学习模型算法并实现交通视频运动目标识别：基于GAN与难分类噪声样本的深度生成模型算法、基于软分类标签的深度学习模型算法、基于改进GAN模型的深度半监督学习算法；（3）研究并提出基于深度强化学习的交通视频运动目标跟踪方法，简化视频目标跟踪框架，提出基于深度卷积神经网络构建动作函数网络和评价函数网络的双网络模型目标跟踪方法。基于上述理论研究成果，构建基于深度学习理论的智能交通视频目标检测识别与跟踪系统，用于测试算法性能和深入研究，并为未来的实际应用提供平台支撑。

项目基于深度学习理论，研究高鲁棒性深度学习模型及其用于智能交通视频目标的检测识别与跟踪方法，力图构建较为完整的基于深度学习模型的交通视频智能监控理论方法。主要研究成果包括：（1）提出并实现了多任务高鲁棒性卷积神经网络模型用于运动目标检测任务，包括基于在线推理策略的自适应空洞卷积神经网络模型、基于主动学习的Active Dropblock检测方法、基于对比学习的鲁棒性学习模式检测方法；（2）提出并实现了基于类不平衡半监督学习的目标识别方法，包括基于标签重分配和数据增强的软分类标签深度学习模型、基于GAN和难分类噪声样本的类不平衡半监督深度生成模型及其改进算法；（3）提出并实现了基于深度强化学习的交通视频目标跟踪方法，包括基于优化方差下降自适应探索的深度强化学习交通视频目标跟踪算法AEVRNet、基于参数空间噪声的深度强化学习运动目标跟踪算法NoisyOTNet、基于多任务多模型迁移的运动目标跟踪算法STKTMM、基于双分支自注意力机制的孪生网络交通视频目标跟踪算法等。上述方法在运动目标检测识别与跟踪的标准数据集上开展了相关实验分析和验证，证明了算法的有效性和鲁棒性。基于上述理论研究成果，构建了基于深度学习的智能交通视频目标检测识别与跟踪系统，用于测试算法性能和深入研究，并为未来的实际应用提供平台支撑，同时为成果的进一步转化和应用奠定实践基础。