综合多任务驱动的三维高分辨率重建和D-MDCNN建模的场面异常检测和跟踪方法

With the rapid growth of air traffic, existing technology of airport terminal monitoring systems can’t satisfy the requirement of civil safety management.Therefore, against to the drawback of current monitoring systems, this project uses the latest research results of relative theory to solve the key issues on the analysis of video abnormality based on the basic framework of video monitoring system including visual and infrared sensors. This project can be divided into four parts. The first task is the research of image color fusion algorithms based on color mapping and nonlinear color transfer. The purpose of this algorithm is to improve the robustness of object detection when light condition changes. The second task is the research of deeply-recursive network for image super-resolution by multi-task learning to provide high-quality seirals for the abnormal detection and tracking. The important task is the research of recognizing and localizing abnormal video based on multi-classification by resorting to a video representation using weighted histogram of optical flow orientation and hierarchical DTs models.The purpose of these algorithms is to improve accuracy of abnormal detection and localization. The last imporatant task is the research of robust abnormal tracking based on D-MDCNN deep model.The study results can provide new modes and methods for the construction of Chinese security monitoring system and have a significantly scientific value and broad application prospects in machine learning.

本项目通过在现有可视传感基础上增加红外摄像机构成的视觉系统，结合相关学科最新理论成果，研究场面智能视频监控中异常分析的关键问题。主要包括：1）研究基于不同视觉传感数据索引的图像彩色融合映射方法，增强视觉异常分析系统对光照变化的适应性，提高安保人员对真实情景的感知能力；2）研究多任务驱动的三维高分辨率深度重建的建模方法，实现视频序列图像的增强，为正确检测异常和鲁棒跟踪奠定基础；3）研究基于加权光流方向直方图和DTs建模的在线异常检测和定位方法，提高复杂环境下异常检测和定位准确性；4）研究基于D-MDCNN建模的异常跟踪方法，实现精确鲁棒的在线跟踪。课题成果将为我国机场智能视频监控系统建设提供新模式，同时项目研究对于机器学习理论与应用研究具有理论意义和应用价值。

基于前期工作基础，本项目根据申请书内容，结合相关领域的最新研究成果，对场面监视中的目标增强、异常检测和识别跟踪方法进行了研究。主要内容包括：. （1）由于夜间及恶劣天气下，场面监视仅依靠可视传感无法满足对异常目标的有效检测跟踪，而现有红外设备昂贵，红外数据缺乏。针对这些问题，以扩充红外图像数据集为目的，提出了一种稀疏的生成网络结构用于实现将可见光数据转换成红外数据；并给出了一种增强型的目标函数，使生成的红外图像中物体的轮廓更加清晰，有效地提高了红外图像的质量。实验表明，基于扩充后的红外数据集训练的跟踪器性能更优。. （2）针对由于采集过程中图象分辨率降低的问题，给出了基于嵌套分层分割特征聚合的超分辨率重建模型，实现视频序列图像的增强。. （3）为了提高在夜晚等低能见度条件下对泊位飞机的自主监视能力，基于红外监控视频，提出了一套异常行为自主识别系统，以实现对在泊位飞机周围活动的人员异常行为进行自主监视与报警；构建了一个名为IIAR-30的数据集，包含了飞机停放区域常见的8种动作类别的2000段图像序列。在该数据集上进行实验评估了所提出方法各模块的有效性并与其他主流算法进行比较。最终，所提出的行为识别方法在该数据集上的准确率高达96%，验证了本文方法在低能见度条件下对停机坪活动人员行为识别的有效性。. （4）提出了一种基于倒残差结构的特征交叉融合跟踪算法。使用倒残差结构构建用于特征提取骨干网络，设计了特征交叉融合网络对骨干网络提取的不同层级特征进行融合，增强深层特征和浅层特征图的互补性。实验证明在UAV123上成功率得分为0.591，相比SiamRPN提高了11.7%。. （5）提出了一种基于重参数化网络的Transformer跟踪算法。引入重参数化模型构建训练阶段和推理阶段的深度特征提取网络，同时基于Transformer模型，设计了目标模板和搜索区域的自注意力和交叉注意力模型。整体选择Anchor-free架构有更少的超参数和更强的泛化能力。实验证明在GOT-10k上AO得分为0.606，相比于SiamFC++ AO得分领先1.1%。