基于流形结构约束的运动目标理解

Video surveillance plays a key role for the society safety. Much attention has been given on the practical applications of object tracking and action recognition, which are among the hottest research topics in the field of pattern recognition and valuable in both theory and applications. In this project, we focus on robust feature extraction and classifier designing problems in moving object understanding. Based on the "data-variable" manifold structured constraint, we will address following issues: 1) The study on a new manifold deep network learning model, which is a version of convolutional neural network based on the data-variable manifold structured constraint; 2) Designing the kernelized correlation filter (KCF) based on latent correlation output constraint, from which a global-local online model is built; 3) Building an efficient classifier for action recognition based on the multiclass and manifold structured constraints; 4) Building an ensemble classifier based on the multiclass constraint and relevance minimization. The extensive experiments will be done to verify new methods in the task of video surveillance. Based on the above achievements, we can improve the performance of object tracking and action recognition. The findings of this project could be applied into intelligent video surveillance.

智能视频监控对于社会公共安全具有重要作用。作为运动目标理解的核心技术，目标跟踪与行为识别是智能视频监控的关键环节，是模式识别领域的研究热点和难点。本项目针对运动目标理解的鲁棒特征提取和分类器构建问题，从数据和变量的流形建模与优化方面展开深入研究，提出面向"数据-变量"流形结构约束的方法来构建目标跟踪-行为识别算法的整体框架。本项目将研究: 1) 提出新的流形深度网络模型—基于"数据流形-网络参数变量流形"双重结构约束的卷积神经网络，实现鲁棒特征提取; 2) 构建隐输出约束迁移的核相关滤波器，并在此基础上构建全局-局部在线学习跟踪模型; 3) 构建基于多类约束与流形结构约束的多类核相关滤波器，实现快速行为识别; 4) 构建基于多类约束和相关性最小化的集成分类器。所提出的新理论、新方法将在智能视频监控系统中进行大量的实验验证，研究成果将显著提高运动目标理解的能力，具有重要的理论与现实意义。

智能视频监控对于社会公共安全具有重要作用。作为运动目标理解的核心技术，目标跟踪与行为识别是智能视频监控的关键环节，是模式识别领域的研究热点和难点。本课题主要研究基于流形结构约束的运动目标理解。发表了基于流形结构约束迁移、基于高斯混合模型分布约束等一系列算法，在此基础上提出了深度流形迁移理论，解决视频中的运动目标行为理解问题。研究和发表了基于Gabor变换的卷积神经网络方法解决目标识别问题，并在此基础上进行二值网络模型构建，还提出了基于空间缩减的二值网络构建搜索算法，实现高效的网络模型压缩。提出了基于增强签名机制的小目标跟踪方法，为了进一步提升深度学习跟踪算法的实时性，引入了物体先验知识以及分割辅助下的小物体检测算法。在已有研究工作基础上，提出新的研究方法，并尝试从理论上深入讨论，实现高性能的目标跟踪与行为识别系统。为了验证所提出的方法，课题组基于大量的视频数据进行目标识别、跟踪等应用。项目组共发表论文23篇，SCI检索论文16篇，会议论文7篇。包括IEEE Transactions 7篇，Pattern Recognition 2篇，IJCV 2篇，JSTSP 1篇。顶级会议论文包括：AAAI 2篇， IJCAI 2篇，CVPR 1篇。一些成果源码开放在（https://github.com/bczhangbczhang/）。 申请相关专利3项，其中获批1项，获批软件著作权一项。 结合本项目培养硕士生12名，博士生3 名。