结构空间的目标行迹分析与异常行为预警

With the wide application of video surveillance, visual judgment of abnormal behavior has become an important means of prevention and control of security incidents. For spatial structure, visual target has only such as location and contour information, lack of facial details, and target behavior includes not only intuitive behavior also contain macro behavior, which increase the essential difficulty of abnormal behavior judgment. This project intends to take the spatial structure as the background, put forward to position, velocity and attitude variables of target trace composed of high dimensional state characteristics, through the multi-scale trace modeling and analysis to determine abnormal behavior. The research includes: In the structure space, a method of target tracking and recognition based on multi visual sensing is proposed; The data of trace is estimated based on tracking parameters, and obtain the data of trace; Research the expression of trace tree structure characterization and different observation scales, Grade Hidden Markov Model（GHMM）is constructed based on multi-scale observation；Establish three layer GHMM model，collect data of trace and create trace library, research model training method；Use the statistical decision method to judge abnormal trace, and research abnormal behavior of offline and online reasoning method based on multi-scale analysis. This project is a new attempt in the study of visual behavior and has important theoretical and practical significance to provide theoretical reserves and technical means for the early warning of security incidents.

随着视频监控的广泛应用，视觉异常行为判断已成为安全事件防控的重要技术手段。结构空间中，视觉目标只具有位置、轮廓等信息，缺少面部等细节信息，同时目标行为不仅有直观行为还包含宏观行为，这些都为异常行为判断增加了本质上的难度。本项目以结构空间为背景，提出以目标行迹位置、速度和行姿变量组成高维状态特征，通过多尺度行迹建模与分析判断行为是否异常。研究包括：研究采用多型视觉传感的结构空间目标跟踪识别方法；基于跟踪参数估计目标行迹信息，获取行迹数据；研究行迹树形结构表征与不同尺度的行迹表达，构建基于多尺度观测的分级隐马尔科夫模型（Grade Hidden Markov Model,GHMM）；建立3层GHMM模型和行迹库，研究自底向上的模型训练方法；采用统计决策方法判断行迹异常，研究基于多尺度行迹分析的离线和在线异常行为推理方法。本项目为安全事件预警提供理论储备和技术手段，具有重要的理论与现实意义。

本项目首次以“目标行迹”作为研究对象，重点研究复杂结构空间中的目标行迹获取、描述及其异常判断问题，其具有原创性和重要的现实意义，截至2020年12月项目研究成果具体总结如下： .（1）提出一种三维空间粒子滤波跟踪方法，实现了多个视觉传感的联合观测跟踪，该方法将二维平面粒子看作是三维空间粒子在成像平面的映射，在推导多视觉观测的贝叶斯后验概率公式的基础上，采用多个视觉传感的目标观测后验概率的乘积作为空间粒子的权值，并进行对极线重采样；根据全景图像扭曲变形的特点，提出了结构空间的全景视觉条件下的目标跟踪方法。.（2）通过对相关但不同视角的数据进行知识迁移，构建分类模型，然后对目标域的待分类数据进行行为轨迹类别识别。首先根据源域视角标注数据建立隐马尔科夫模型训练三元组参数；然后，统计源域以及目标域视角同类别标注数据编码序列特征频次，进而利用最小二乘法拟合两个视角特征映射曲线，通过映射关系将观测概率矩阵适应性迁移；转移概率基于少量目标域标注数据通过优化算法迁移至目标域，至此目标域分类模型构建完成。.（3） 提出了一种多模态的融合策略来解决以上人、物交互动作识别存在的问题。考虑到行为模型中骨骼数据的二阶信息（骨骼的长度和方向）对于动作识别是更有益和更具区分性的，因此采用了一阶信息与二阶信息进行建模的双流框架。通过人、物交互检测来判断是否存在交互物，在此基础上对存在交互的动作引入交互物的RGB信息以及空间位置信息进行融合来更有效的区分这些动作。.（4）构建实验环境，进行大量实际测试，建立行为数据库，并开发了视觉行为分析演示软件等。设计实现了基于深度学习的视觉行为识别演示软件，其可对10种以上常见人体行为进行识别判断，上述工作为视觉与机器学习、多传感信息融合的研究和应用提供了条件支撑。