群目标运动的视觉描述与语意理解

Crowded object motions are common phenomena in the natural world and human society, such as dense pedestrian motions, vehicular traffic flow, the motions of birds and fish. Current investigation shows that there are no comprehensive theoretical framework and systemic approach for it both in domestic and abroad. This project proposes a systematic research into visual description and semantic understanding of crowded object motion in theoretical analysis and computational approaches. In the theoretical study, we will begin with the physical model of crowded object motion in association with its visual model, studying the motion properties and its description using computer vision methods. Taking crowded pedestrian flow, traffic flow and dense grouping animals as research objective, we study the visual detection, visual description and classification of crowded object motion. With individual-distinguishable crowded objects, we will study how to overcome occlusions in object tracking and find out the relationship between individual objects and overall group. For intensive crowded object motion, we study its visual detection and description, analyze the properties of motion and the affects to motion from boundary conditions, and semantically understand the phenomena of motion merging, dissipation and evolution of crowded moving objects. At the application level, we will use the data of crowd pedestrians, traffic flows to mining their semantic meaning with a prototype verification system.

群目标运动是自然界和人类社会中的普遍现象，如密集人群运动、车辆交通流、鸟群和鱼群的运动。调研结果显示，国内外对群目标的研究目前尚没有一个完善的理论框架和系统的方法。 课题将系统地研究群目标运动的视觉描述与语义理解的理论与方法。在理论研究方面，从群目标运动的物理模型着手，关联群目标运动的视觉模型，采用计算机视觉的理论与方法，研究群目标的运动规律与描述方法。以人流、交通流以及自然界的密集生物等运动群体为对象，研究群目标运动的视频检测、视觉描述、集群分类等计算方法。对于个体可分辨的群目标运动，研究如何克服遮挡，解决群中个体目标的运动跟踪及其与整体群运动的关系；对于密集群目标运动，研究其视觉特征描述与检测方法，分析群目标的运动特征以及边界约束对其运动的影响；理解群的汇聚、消散、合并、分裂等运动形态演变的语义。在应用层次上，结合人群流、交通流，研究群目标运动的高层语义；构建原型验证系统。

本课题主要探索和研究了群目标的运动模式分析、语意理解、群体运动的整体性度量与检测；通过对视频中群目标运动特征的提取和分析，判断出场景中持续的运动模式。在我们开发的数据库和公用数据库上都进行了大量实验评估和算法分析，取得了令人满意的实验效果。.(1) 针对传统的光流特征无法捕捉到长时的运动信息、噪声较大的缺点，提出了一种运动历史光流场信息的群目标运动模式分析方法，克服了瞬时波动带来的不稳定性，从全局角度捕捉到群目标的长时稳定运动信息。.(2) 由于密集场景下个体目标小、分辨率低且相互影响严重，本研究提出了一种基于线特征——轨迹片段信息来分析群目标运动模式的方法，克服了点特征信息的不足，回避了密集目标全程跟踪的困难，实现了轨迹片段的短时鲁棒跟踪和主要运动路径的判断。.(3) 提出基于后验散度特征映射的运动模式分析方法，通过对轨迹片段学习后验散度得到特征映射，反映了群目标运动模式分析的本质信息。.(4) 将群目标运动的位置、速度和方向整合为一个有效的轨迹形状描述，采用深度学习方法挖掘运动轨迹的本质信息，大大降低了特征的维度。通过逐层的抽象挖掘出运动轨迹的结构化信息，得获得符合稠密群体认知过程的基本运动模式。.(5) 探索了群体目标运动的整体性特性，定义了宏观-微观运动连续性和群体运动整体性度量和计算方法，提出了用以检测场景中的运动一致性群组的Group Mining运动的整体度的检测算法并通过大量实验验证了所提出理论的正确性。. 在课题的执行过程中，课题组紧紧围绕课题的研究目标，对群目标运动的视觉建模、群目标运动特征提取、运动模式分析以及目标运动群的特性题研究中，完成学术论文36篇，其中IEEE Trans、CVPR 等高水平学术期刊、会议论文20余篇。