复杂组群行为中动作元建模及深层交互关系模型推理关键问题研究

Random variation of group members and complexities of semantic interactive relation among members are always bottleneck hindering research progress for group complex activities. An adaptive graphical structure is proposed to model group member interactive relation in this project, and deep learning is adopted to model this interactive relation in order to detect group structure automatically and finally recognize group activity. First of all, an atom action model is put forward which blends trajectory of human object and scene spatial-temporal context information also action classification scores. Secondly, deep learning network is designed to cooperate the above graphical model in order to model complicated interactive relational structure of group activity, which is to describe the shift of graphical model configuration as group member changes, and also to describe interactive relation between person to person and person to scene. Finally, an "event gate activation function " is presented to improve the extant learning network, which is to judge on or off of a joint edge inside of the graphical structure by estimation the information amount encapsulated within this edge, this proposal can overcome the learning incapability due to shortage of associated time steps and also can maintain the sparsity and completeness of the proposed graphical framework. Realization of this project can offer new research scheme and theory basis for both group activity analysis and activation mechanism of deep learning.

组群行为由于其成员增减的随机性以及成员间交互关系语义的复杂性一直是制约其研究进展的瓶颈。本项目拟提出一种自适应图形化的组群成员结构关系模型，拟采用深度学习对模型中成员间语义关系进行建模，实现组群结构的自动检测，达到对复杂组群行为的识别。首先，拟提出一种组群成员动作元建模方法，即将人体目标的轨迹、场景时空结构上下文、动作属性等信息融合的新模型。其次，本项目针对组群行为图形化模型中成员增减产生的图形结构时效性问题；成员之间关系、成员与场景关系推理问题，将深度学习方法与该图形化模型学习相结合，完成复杂行为结构关系的建模。最后，针对现有深度学习网络中关联步长不足问题以及为了维护组群行为图形化模型的稀疏性和完整性，拟采用一种“事件门控激活函数”来改进现有深度学习网络，通过计算图形化模型中连接边界的封装信息量来决定其去留。该项目的实施将对复杂行为建模和深度学习触发机制的提升提供新的研究思路和理论依据。

组群行为识别是智能监控领域的重要内容，也是计算机视觉的研究热点。本课题的主要内容是复杂组群行为动作元多粒度信息融合与深层交互关系模型推理等关键问题研究，其研究核心科学问题是组群交互关系建模，对此取得了如下5项研究成果。.（1）基于深度全连接模型的群组行为识别算法，该方法构建了时空全连接图形来描述成员之间的交互关系随时间的变化，利用全连接条件随机场的二元势函数来度量成员之间交互关系的强弱，即如果两个人的观测信息相似，相对位置又近，则两者的交互关系强，那么这两个人的行为类别标签相同的概率就大；反之亦然。该算法在CAD1和CAD2的平均识别精度分别为为86.7%和90.83%。.（2）基于交互关系无向图描述和多路决策融合的组群行为识别算法，其将无向图顶点作为群组成员，顶点之间的连线表示双方交互关系，连线粗细表示彼此关系的强弱；利用图卷积网络对该交互关系无向图进行动态维护，并获得交互关系特征实现群组行为分类。在CAD1和CAD2平均识别精度分别达到了91.4%和97.9%。.（3）以关键人物为核心的交互关系建模和组群行为识别算法，其通过堆叠连续两帧之间的光流信息，计算出每个成员的平均运动强度并排序，强度最大者为“关键人物”；再则，按照关键人物重要性顺序输入到门控融合单元，以便学习并融合成员之间、成员与场景之间的空间关系，以此作为群组的整个交互信息，并利用softmax进行群组行为识别。该算法在Volleyball数据集上的平均识别精度为86.7%。.（4）基于分组交互关系融合的组群行为识别算法，针对多角色复杂组群情况，实施分组建模，不仅降低了交互关系推理的复杂度，还提升了交互关系建模的精细程度。其在数据集Volleyball上取得93.1%的平均识别精度。.（5）基于语义合作/竞争模型的组群行为识别方法，借鉴了社会关系中的合作/竞争思想来描述成员之间的交互信息，增强了语义性。其在Volleyball数据集上的平均识别精度为96.2%。