基于纹线流和群集性的群体异常行为识别和分级预警研究

Crowd behavior analysis is a challenging problem in computer vision field and it is a key part to improve the performance of the intelligent surveillance system. In this project, the abnormal event recognition framework in complex crowded scenes is built by incorporating fluid mechanics, collective dynamics and deep learning. Moreover, the layered pre-warning classification is studied based on risk management. The main content and expected contributions of this study are as follows: (1) Crowd behavior feature is constructed based on fluid mechanics and collective dynamics, and the representations are learned utilizing deep neural networks; (2) A novel convolutional neural networks (CNN) structure is designed for mining the large-scale crowd density features; (3) The abnormal crowd behavior model is developed based on deep neural networks; (4) The pre-warning classification warning mechanism for abnormal crowd behavior is studied by utilizing fuzzy synthetic evaluation model.

群体行为分析是计算机视觉领域中一个具有挑战性的研究课题，是提高智能监控系统性能的关键。本项目结合流体力学、群集动力学和深度学习理论，构建复杂场景下的群体异常行为识别模型，基于风险管理理论，研究群体异常行为的分级预警机制。项目的主要研究内容和创新点如下：（1）研究基于流体力学和群集动力学的群体行为特征提取技术和深度学习方法；（2）搭建用于挖掘群体密度特征的新型卷积神经网络架构，解决大规模群体的密度估计难题；（3）建立基于深度神经网络架构的群体异常行为模型，对群体异常行为进行识别；（4）研究基于模糊综合评价理论的群体异常行为预警机制，实现群体异常行为的分级预警。

群体行为分析是计算机视觉领域中一个具有挑战性的研究课题，是提高智能监控系统性能的关键。本项目对复杂监控环境下视觉跟踪、人脸识别、群体行为特征提取和降维、特征融合、深度神经网络架构和优化、群体运动的分割、群体密度估计、群体异常行为检测等方面开展了深入研究。在基金的支持下，项目组开展的工作如下：.（1）研究了监控场景中的视觉跟踪技术，提出了一种基于群智能优化的视觉跟踪方法，提高了复杂监控环境下视觉跟踪的准确性和鲁棒性，为视觉跟踪提供了一种新的解决思路。（2）研究了复杂环境下（多姿态，多尺度、少样本，强噪声等）的人脸特征提取和识别技术，提高了复杂环境下人脸识别的准确性。（3）研究了视频监控场景下群体行为特征提取、特征降维和特征融合技术。提取了群体行为的纹线流和群集性特征，解决了压缩感知理论中的测量矩阵的优化设计问题，研究了基于压缩感知的群体行为特征降维方法，实现了基于代数多网格和基于深度卷积神经网络的特征融合方法，提高了群体行为的识别精度。（4）研究了深度神经网络架构和优化，提出了一种自适应深度卷积神经网络模型的构建方法, 解决了传统卷积神经网络模型构建过度依赖经验知识、参数多、训练难度大等缺点，为复杂多类问题的卷积神经网络模型构建策略提供了新的思路。（5）研究了视频监控场景中群体运动分割技术，提出了一种融合纹线流和群集性的群体运动分割算法，提高了群体运动分割的准确性。（6）研究了群体异常行为分级预警系统中的人群密度关键异常因子，提出了一种基于多尺度融合卷积神经网络的人群计数方法，通过在深度神经网络结构中引入融合层，增强深度特征的有效性，提高了人群间相互遮挡和空间尺度的变化情景下人群计数的准确性。（7）提出了一种基于脉线流和时空流卷积神经网络的群体异常行为检测方法，提升了群体异常事件的检测准确性和鲁棒性。