复杂公共环境下群体行为尺度自适应建模与特定异常行为识别算法研究

Accurate detection of crowd abnormal behaviors is one of the essential foundations that can influence the function effectiveness of intelligent video analysis. However, complex public environment may impact the accuracy of crowd behaviors modeling which leads to a decrement in the detection rate of abnormal behaviors. Meanwhile, due to the lack of identification ability of identifying the specific crowd abnormal behaviors utilizing traditional abnormal behaviors detection algorithm, severely abnormal behaviors cannot be answered prior to others. To handle these problems, multiple features of the crowd behaviors are extracted initially for conjoint analysis and congestion level is estimated based upon the analysis result. Then given the estimated congestion level, the scale adaptive crowd behaviors model is constructed to improve the accuracy of crowd behaviors modeling under complex public environment. After that, a hierarchical classifier is designed to identify the specific crowd abnormal behaviors. The first layer of the classifier is used to detect the general crowd abnormal behaviors and the second layer is utilized to identify the specific crowd abnormal behaviors. Finally, the effectiveness of the algorithm is demonstrated and reinforced through performing experiments on the constructed crowd abnormal behaviors detection platform under practical monitoring environment. Novelty of the project lies on the proposed algorithm which takes into account the key factors affecting the accuracy of crowd behaviors model and the effectiveness of abnormal behaviors detection from a new perspective. Therefore, this project will have significant theoretical and practical value to effectively identify specific crowd abnormal behaviors under complex public environment.

群体异常行为的准确检测是智能视频分析系统功能发挥的一个重要基础，但复杂公共环境会影响群体行为建模的准确性，从而降低异常行为的检测率。同时，传统异常行为检测算法不能识别特定群体异常行为，导致无法对严重异常行为优先响应。针对这些问题，本项目首先提取群体行为的多种特征进行联合分析，根据特征分析结果估计当前场景的人群拥挤程度，并基于拥挤程度设计尺度自适应的群体行为模型，有效提高了复杂公共环境下群体行为建模的准确性；然后，设计分层分类器识别特定群体异常行为，第一层分类器用于检测广义群体异常行为，第二层分类器用于识别特定群体异常行为；最后，在真实监控环境下搭建群体异常行为检测平台，验证并改进所提算法的性能。本项目的创新之处在于从新的角度考虑了影响群体行为模型准确性与异常行为检测实用性的关键因素，将有效解决复杂公共环境中难以识别特定群体异常行为的难题，具有重要的理论与应用价值。

随着人口增加，群体异常事件发生率激增，产生了严重的社会影响。为了对群体异常行为进行检测与预防，本项目对复杂公共环境下的群体行为建模与异常行为检测展开了研究，主要内容包括：（1）基于机器视觉的运动目标检测：将视频看作由高阶运动目标与低阶背景组成，通过鲁棒主成分分析将运动目标从背景中分离，并通过分块化和在线计算改善传统鲁棒主成分分析算法速度慢、超参数定义困难的缺点；（2）基于图像处理的人脸表情识别：分别研究了基于手动提取特征和深度神经网络的人脸表情识别算法，前者提取了人脸深度几何特征并利用改进的随机森林分类器分类，后者搭建了双通道卷积神经网络自动提取表情相关特征，并利用Softmax运算分类；（3）基于静态图像分析的人群计数：分别研究了基于手动提取特征和深度神经网络的人群计数算法，前者提取了人群外表信息并利用极限学习机回归计数，并通过域自适应处理改善算法的泛化性，后者搭建三通道卷积神经网络进行人群回归计数，并通过多尺度多任务学习策略提高了计数的精度；（4）基于动态视频序列的人群异常行为检测：利用加权卷积自编码-长短期记忆网络学习正常行为模式，并通过对输入数据重构误差的分析进行异常行为检测与定位。.基于上述研究，项目组取得如下成果：（1）目标检测算法可以准确提取运动前景，对光照变化、运动背景等干扰有较好的抑制；（2）基于神经网络的人脸表情识别算法在“CK+”、“JAFFE”和“Oulu-CASIA”标准数据库上的识别率分别为95.68%、90.42%、89.30%；（3）基于神经网络的人群计数算法在“UCF_CC_50”、“WorldExpo’10”、“Shanghai Tech A/B” 标准数据库上的平均绝对误差分别为320.6、9.1、91.2/18.5；（4）基于加权卷积自编码-长短期记忆网络的异常行为检测算法在“Avenue”、“Ped1”、“Ped2” 标准数据库上的帧间AUC分别达到87.2%、89.1%、94.8%。研究表明，利用深度神经网络生成模型可以准确检测并定位人群异常行为，同时通过人群计数以及人脸表情分析可以对群体异常行为进行预测，从而有效预防危害行为的发生。