基于计算机视觉的复杂场景下行为理解研究

Human behavior understanding is a hot topic in the area of computer vision, which draws great attentions from researchers all over the world. This proposal focuses on the analysis of human behaviors in complex scenarios, aiming at developing novel models and algorithms that can analyze and recognize complex human behaviors automatically. It includes three essential aspects, namely: single-person action recognition, human interaction recognition, and crowd analysis. Towards our targets, we propose the following novel solutions. For action recognition, we would like to exploit the multiple-instance-learning framework to build the classifier in a discriminative manner, where trajectory clusters are used as the low-level motion features. As far as interaction recognition is concerned, the classifier will be trained through learning the temporal evolution model. For crowd analysis, we propose to compute the velocity field of realistic videos in order to obtain the macroscopic motion patterns of crowds, including destination selection and path navigation. These crowd motion patterns will be combined with the social force model and the RVO model, so as to guide the simulation of crowd behaviors. The experimental results of our previous work have demonstrated the applicability of the proposed methods. Related models and algorithms will be further evaluated on standard human behavior benchmarks. The research outputs can be applied to the construction of visual surveillance system in public places, for the purposes of activity recognition, event detection, and abnormal behavior prediction, et al.

行为理解是计算机视觉领域内的研究热点。由于具有广泛的应用前景,受到国内外学者的密切关注。本项目致力于复杂场景下行为理解的研究工作,希望建立自动分析与识别目标行为的模型与算法。研究内容主要包括三个方面:单人行为识别、交互行为识别与密集群体行为分析。为此，本项目提出如下创新性的解决方案。对于单人行为识别,拟采用轨迹聚类与多示例学习相结合的策略,使用判别式学习方式构造分类器。对于交互行为识别,拟通过学习行为的时序模型实现。对于密集群体行为分析,拟通过计算真实场景下的速度场获取群体的宏观运动模式,包括:目标区域选择与路径决策,并结合社会力模型与RVO模型指导群体行为的仿真。本项目研究方案的可行性已经在前期工作中得到充分验证,涉及的具体模型与算法将会在标准行为数据集上进一步评估。项目的研究成果将用于构造公共场所内的视觉监控系统, 提供行为分类, 事件检测, 异常行为预警等服务。

行为分析是计算机视觉领域的重要研究方向之一，近年来受到相关学者的广泛关注。.本项目致力于复杂场景下行为理解的研究工作，主要包括以下三个方面的内容:.（1）单人行为分析: 包括运动特征提取与行为表示、轨迹聚类、行为识别等；.（2）交互行为分析: 包括行为时序结构建模、交互行为建模、时空注意力机制建模等；.（3）群体行为分析: 包括密集群体行为的宏观运动表示、群体行为仿真、行为规范学习、轨迹预测等。.针对上述内容，我们采用数据驱动方式，结合循环神经网络、卷积神经网络、注意力机制、生成模型等一系列深度学习技术对关键问题进行建模，并在标准行为数据集上进行评估，取得了良好的实验效果。项目执行期间取得的主要研究结果包括：（1）基于数据驱动方式的群体行为仿真算法；（2）复杂场景下轨迹预测算法；（3）轨迹分布显示化建模方法；（4）第一视角下多模态轨迹预测算法；（5）第一视角下交互行为数据集的构建。相关工作发表在 ACM TOMM、CVIU、ECCV、IEEE ICPR、IEEE AVSS等重要国际期刊与会议上。我们的研究工作将部署在智能监控系统与移动机器人平台上。其中，群体行为分析技术将会在事件检测、危险预警、人群疏导等重要问题上发挥关键作用，辅助监控系统对公共场所的密集群体进行监测。交互行为分析技术可以与智能机器人平台结合，在场景感知、语义分割、自主避障、视觉导航等领域发挥重要作用。