多源视频融合表征的异常事件检测算法研究

In video surveillance applications of important public areas and unattended environments, the automatic accurate detection and fast alarm capability of abnormal behavior and abnormal events become an urgent application requirements and technical difficulties. The event-based intelligent video content understanding technology belongs to application of basic research in the field of video intelligent analysis and information security. The topics to focus on abnormal event detection algorithm based on the integration of multi-source video characteristics, we study the key technology research based on abnormal events modeling approach and abnormal events detection algorithm. We propose the abnormal event modeling method based on hierarchical vocabulary semantic, the abnormal event modeling method based on deep learning and the multi-source video feature fusion event modeling methods based on video macro summary. Meanwhile, for the above model, we propose the abnormal event detection method based on hierarchical vocabulary semantic, the abnormal event detection method based on deep learning and global abnormal event detection algorithm based on the integration of multi-source video characteristics. Research work also involves the design and optimization of the associated infrastructure support algorithm, including multi-core SVM classifier algorithm, video macro abstract generation algorithm, Video lexical semantics generation algorithm, etc. Research has significant social benefits on the application of urban public safety, social counter-terrorism, disaster monitoring, massive video event analysis and correlation mining, etc.

大范围高密度高清视频监控体系在平安城市建设中发挥着重要支撑作用，在重要公共区域和无人值守环境等的视频监控应用中,对异常行为和异常事件的自动准确检测与快速告警能力成为迫切应用需求和技术难点。基于视频内容的事件智能理解技术,属视频智能分析与信息安全领域的应用基础研究。课题针对视频内容信息结构化表征困难，来自多源的视频数据难以有效关联和融合分析利用的问题，开展基于多源视频特征融合表征的异常事件检测算法研究工作。课题提出基于分层词汇模型构建视频语义结构化表征的方法，以及基于宏摘要结构的多源视频融合表征方法；并在此基础上，结合特定的应用场景分别提出基于分层词汇语义的个体行为异常事件检测方法、基于深度学习模型的群体行为异常事件检测方法、以及基于海量视频融合表征的大数据分析异常事件检测方法等。研究成果对城市城市公共安全、社会反恐、灾害监测、海量视频事件分析与关联挖掘等应用具有重要的社会意义。

本课题属于信息内容安全领域范畴，随着智慧城市计划的实施，城市中的监控摄像数量日益增多，人力已经远远不能满足对监控画面的分析需求。目前的监控摄像往往被用于事后取证，在犯罪、暴力等异常事件发生时不能及时报警和及时救援。由于异常事件智能分析领域理论体系不完善，检测算法受到人行为的多样性、环境的复杂性干扰较大等因素，还需要对该领域进行进一步研究。本课题围绕多源视频融合表征的异常事件检测算法展开深入研究。针对不同特点的视频内容做出了一系列理论和实践层面的工作，工作具有研究价值和经济价值。. 本课题首次提出了将单人动作识别、群体异常检测、人物身份识别技术融合的异常事件检测思想，以及将视频的空间RGB信息、时间光流运动信息、人体骨骼信息融合对视频内容进行表征的异常事件检测方法。将异常事件检测分解为从单人行为、群体行为、身份识别三个层次来共同检测，一方面可以根据单人和群体的行为共同判断时间，减少误报，另一方面可以将事件和行为人的身份关联起来，及时追查和报警。在事件表征方法上，利用空间上纹理、轮廓、骨骼姿势等静态信息，和时间上轨迹、光流、残差等动态信息融合的方式训练异常事件检测模型，提高了模型的表征能力，使模型判断更加准确。. 本课题在多种公开数据库上进行验证。单人动作数据库中Weizmann准确率达到99.1%、KTH准确率达到95.8%、MSRAction3D达到95.11%、UTKinect-Action达到98.83%、Florence3DAction达到93.79%。异常行为数据库UCSD Ped1中AUC达到95.1%、UCSD Ped2中AUC达到90.8%。身份识别数据库CASIA-B中达到96.53%。本课题丰富了异常检测算法类型，提高了识别准确率，取得了重要的研究成果。. 该研究成果可以应用在公共安防智能检测犯罪行为，也可以应用在学校、建筑工地、核电站、监狱等场景，对发生的违规行为进行智能报警，具有广阔的应用前景。综上所述，本课题的科学意义在于利用多源融合方法提高异常事件检测准确率，提高了行为、事件、身份的关联性，丰富了异常事件智能检测方法理论。研究具有良好的理论研究价值、社会价值和经济价值。