行为大数据模式识别理论及方法研究

In the era of big data, analysis and understanding of behavioral big data is a key technical link in the field of video surveillance. At present, the researchers on behavioral big data face four challenges, i.e., the lack of a unified theoretical framework for feature representation, the existing unstructured data models that make it difficult to construct representation for unstructured big data, the complexity of behavioral data leads to low portability of the model, and no efficient optimization algorithms for big data analysis. In order to solve the above problems, based on deep learning framework, this project aims to conduct systematic and innovative research on the basic methods of pattern recognition for behavioral big data as well as the specific solution frameworks for behavior detection and recognition under the big data environment. Firstly, the basic theories and methods of behavior analysis and understanding are investigated in depth, and some general effective approaches are proposed in order to solve the common problems in the modeling of behavioral big data, such as small number of labeled samples, mutual interference of deep learning features, redundancy of features and slow training of deep models, etc. Secondly, specific research on behavior detection and recognition in the context of big data environment are conducted, and a multi-level human object detection model that combines shallow and deep models and an behavior recognition model based on 3D human models and multi-view deep knowledge transfer learning are proposed for the purpose of providing effective solutions for behavior detection and behavior recognition under big data environment, respectively.

在大数据时代，对行为大数据进行分析和理解是视频监控等领域的关键技术环节。目前行为大数据的研究面临四方面挑战：1)缺乏统一的特征表示理论框架；2)存在的非结构化数据模型，使得非结构化大数据表示难以构建；3)行为数据的复杂性，导致模型可移植性低；4)针对大数据的优化算法，缺乏相应的解决方案。为解决以上问题，本项目基于深度学习框架，对行为大数据模式识别的基本方法，以及大数据环境下的行为检测与识别进行系统的创新性的研究。首先对行为分析的基本理论和方法进行深入研究，为解决行为大数据学习模型中存在的包括带标签样本少、深度学习特征相互干扰和特征冗余、深度模型训练速度慢等共性问题，提供通用有效的方法。其次，具体针对性研究大数据环境下行为检测技术和识别技术，提出了浅层结合深层模型的多层次人体目标检测模型、基于3D人体模型的多视角深度迁移行为识别模型等，为大数据环境下人体行为的检测和识别提供了有效的解决方案。

对行为大数据进行合理高效的建模和分析在人机交互、安防监控等领域中具有重大意义。针对行为大数据的研究中所存在的迫切需要解决的难题，即1）缺乏统一的特征表示理论框架；2) 非结构化大数据表征难度大；3)行为数据的复杂性，导致模型可移植性低；4)针对大数据的优化算法，缺乏相应的解决方案。基于上述分析，研究团队开展了丰富且全面的系统性研究，并提出了有效的解决方案。研究成果在顶级会议（CVPR、ICCV、ECCV）举办的目标跟踪、行为分析、视频理解等方面的权威国际学术竞赛（VOT、Anti-UAV、MMVRAC）中获4项冠军、3项亚军和2项季军；培养博士毕业生获中国图象图形学学会优秀博士论文奖；获IEEE CCIS2021最佳论文奖；获PRCV2022最佳学生论文奖；建立的RGB-D大规模视频数据集在AAAI会议上得到Oral展示。.首先，针对行为大数据模式识别方法框架研究，提出了多模型建模的级联深度黎曼网络、多层深度网络特征学习模型和整合主动学习与迁移学习的深度模型的新架构。其次，针对大数据环境下行为检测技术研究，分别开展了基于浅层学习和基于深度学习的人体目标检测模型建模，探究了人体目标检测跟踪中多粒度特征的关联性和互补性。另外，针对大数据环境下行为识别技术研究，为了处理复杂且冗余的背景数据，提出了基于3D 人体模型的行为特征提取、基于深度知识迁移学习的模型等高效行为建模方式以及跨视角的行为描述与识别方法。.研究表明，黎曼深度网络、多层深度网络等是一种行之有效的行为大数据特征表达方式。此外，结合迁移学习等先进框架，在行为检测与跟踪、行为识别等任务上设计出多种创新型算法，并于多个主流数据集上达到了领先水平。综上所述，本项目为大数据环境下行为的建模和理解提供了创新型的模型框架，为人体行为的检测和识别等具体任务提供了有效的解决方案，对于大数据行为模式识别研究具有重要价值。