面向智能视频监控系统中目标理解的长时程深度学习模型研究

Object understanding based on video, which is the semantic description of target attribute and behavior, and is an important embodiment of intelligent video surveillance system application. As the impact of video resolution, viewing angle, target poses and illumination dynamic, as well as the error of previous target detection and target tracking, the short-term image sequences based algorithm is unable to understand the object precisely and stably. In this project, a Long-term Deep Hybrid Neural Networks (LDHNN) model will be built with Convolution Neural Networks (CNN) and the Deep Belief Networks (DBN) based on the theory of deep learning and the principal of target spatial-temporal correlation in long-term image sequences. In the model of LDHNN, 3D image sequences are mapped to 1D feature vectors by CNN, and the stacked DBN deepen the level of entire networks. The network-wise and layer-wise training procedure of LDHNN can be accelerated obviously by parallel computing using multiple GPUs. It will provide the theoretical and technological support for long-term object understanding in video surveillance system.

基于视频的目标理解，是对视频中目标属性和目标行为在语义层次上的描述，是视频监控系统智能化应用的重要体现。由于采集视角，目标姿态，光照条件等方面差异，加上之前目标检测和目标跟踪处理带入的误差等因素的影响，基于短时程图像序列的分析算法很难在实际条件下进行准确和稳定的目标理解。针对上述问题，本项目以深度学习理论为基础，从长时程图像序列中目标的时空相关特性出发，将卷积神经网络(CNN)和深度置信网络(DBN)进行融合，建立长时程深度混合神经网络(LDHNN)模型，利用CNN实现对三维图像序列数据的特征化和向量化，堆叠DBN来加深网络的层次，提升网络对目标长时程时空特征的学习能力。基于逐网络逐层的思想，推导LDHNN的训练算法，并利用多GPU并行运算来大幅加速训练过程，实现基于LDHNN的目标理解功能，为研究面向长时程图像序列的深度学习模型，提升现有视频监控系统的智能化应用探索一条有效的技术途径。

基于视频的目标理解，是对视频中目标属性和目标行为在语义层次上的描述，是视频监控系统智能化应用的重要体现。由于采集视角，目标姿态，光照条件等方面差异，加上之前目标检测和目标跟踪处理带入的误差等因素的影响，基于短时程图像序列的分析算法很难在实际条件下进行准确和稳定的目标理解。针对上述问题，本项目以深度学习理论为基础，从长时程图像序列中目标的时空相关特性出发，将卷积神经网络(CNN)和深度置信网络(DBN)进行融合，建立长时程深度混合神经网络(LDHNN)模型，利用CNN实现对三维图像序列数据的特征化和向量化，堆叠DBN来加深网络的层次，提升网络对目标长时程时空特征的学习能力。基于逐网络逐层的思想，推导LDHNN的训练算法，并利用多GPU并行运算来大幅加速训练过程，实现基于LDHNN的目标理解功能，为研究面向长时程图像序列的深度学习模型，提升现有视频监控系统的智能化应用探索一条有效的技术途径。 . 本项目以深度学习理论为基础，从监控视频中长时程图像序列的时空相关特性出发，着手解决从长时程图像序列中有效学习目标时空特征并进一步进行目标属性分类和目标行为理解的问题。项目中涉及的主要研究内容有以下三个方面：1）构建面向长时程图像序列的深度混合神经网络模型；2）长时程深度混合网络的推导和训练；3）建立目标长时程图像序列数据库。. 本项目的主要研究成果为：1）提出了一种长时程深度混合神经网络模型及其训练方法，应用于行为识别中；2）提出了一种深度融合神经网络模型及其训练方法，应用于面部年龄估计中；3）提出了一种深度时空特征融合网络模型，应用于面部表情识别中；4）提出了一种多视图深度特征融合的方法，应用于场景识别中；5）提出了一种基于深度神经网络的人车分类；6）构建了目标识别图像数据库。基于上述成果在国内外权威期刊和会议上发表学术论文23篇，其中SCI检索14篇、EI检索国际会议5篇，EI检索期刊2篇，中文核心期刊论文2篇；申请专利15项，其中授权专利3项；获校级一等奖1项。培养研究生12名。