多尺度人群行为理解及其在非常规突发事件检测中的应用研究

Towards the pressing demand of infrequent emergency surveillance, this project begins with the crowd behavior understanding in surveillance videos. It focuses on the macro and micro crowd feature description, as well as crowd behavior pattern mining. Applying the unsupervised learning method, the project builds multi-scale crowd knowledge library to detect infrequent emergencies. The project establishes a crowd macro description model toward multiple scenes by adopting the interrelation of crowd macro feature descriptors, and discovers the regularity of parameters under various restraints. By analyzing motion characters of the crowd moving pixels and the sub-crowds, a crowd micro model is proposed to describe the interaction of the individuals, the sub-crowds and the crowds. Moreover, this project uses multi-scale pattern mining to learn the co-occurrence law of individuals and patterns, and setups detection scheme of unsupervised and infrequent emergencies. The research provides efficient technical support for areas such as anti-terrorism, public security, crowd management and danger precaution.

本项目面向非常规突发事件监控的迫切需求，以监控视频中人群行为理解为切入点，重点对人群宏观、微观特征描述及人群行为模态挖掘方法进行研究，旨在通过非监督学习方法建立多尺度人群常规模态知识库，以实现非常规突发事件的检测。本项目将通过研究群体宏观特征描述因子间的相互关系，建立面向多种场景的群体宏观描述模型，并研究模型参数在不同场景约束条件下的变化规律；将通过对群体中运动像素及子群体的运动特征分析，建立群体微观模型，以描述个体间、子群体间以及个体与群体间的相互作用；将通过对多尺度模态的挖掘，研究个体间、模态间的共存规则，建立对非监督非常规突发事件的检测方案。本项目的开展将为国家反恐、公共场所安保、人员密集区域管理，以及危险预警提供有效的技术支撑。

近年来，通过“金盾工程”、“平安城市”的建设，已经初步形成了全国主要道路、重要场所、轨道交通、重点区域、敏感地带等地区视频监控及智能感知、分析系统的覆盖，在治安管理、反恐处突等方面发挥了不可替代的作用。人作为事件的主体，加强人群的管理和疏导，可以为国家反恐、公共场所安保、人员密集区域管理以及危险预警提供有效的支撑。本项目以深度学习技术为基础，探索群体行为分类识别的方法，并结合人群计数，实现群体异常突发事件的预警与检测。研究工作主要包括：1）构建群体行为数据集，用于群体行为分类模型的训练；2）提出了Efficient & Effective Temporal Segment Networks (EE-TSN) 群体行为分类方法，用于检测非法游行和集会等非常规群体行为，与TSN相比，在保证检测精度的前提下，减少了计算成本，此外针对行为识别，讨论了光流算法、预训练数据集/架构以及超参数的选择方法；3）提出了跨时空层级注意力选择机制，实现基于时间序列和空间位置注意力模型的相互作用，融合图像和运动等感知信息，完成对输入视频关键帧和关键区域的有效提取，快速过滤无关的干扰信息，进一步提高群体行为分类的效率和精度；4）提出了一种人群计数模型，采用端对端CNN模型进行人群数量估计，以自适应多尺度空洞卷积模型作为主干网络，提高了模型对不同场景的适应能力，并在密度图估计Loss的基础上，增加了人群计数的Loss辅助模型训练，提高了人群计数的准确度。