基于流场统计建模和聚类的高密度人群多重运动轨迹重建

In our country, public safety and emergency preparedness of high density crowd becomes an imperative requirement. Typical approaches, such as non-rigid target tracking technology and optical flow velocity vector field clustering method, either failed to meet the precision requirement on motion analysis or is conservative in describing multi-state trajectories. Based on the existing optical flow velocity vector field clustering method in video monitoring, this study aims at accurate description of multi-state trajectories in the complex background. We intend to combine the optical flow statistical modeling, semi-supervised clustering, dynamic programming, and other relevant methods together. Not centered in individual characteristics, but the statistics of the flow field distribution characteristics, the study focuses on the realization of multi-mode trajectory reconstruction method, emphasizing its robustness under complex illumination conditions. A high density crowd, multiple motion pattern and complex illumination video dataset will be built, which would be used to validate our trajectory reconstruction algorithm. 5~7 mainstream SCI journals and high level international conference paper are expected to be published, 1~2 invention patents are expected to be applied, 2~3 graduates are expected to be trained.

在我国，防范高密度人群中的公共安全突发事件具有迫切的实际需求。以单一非刚体为目标的跟踪技术无法解决高密度人群中目标相互遮挡后的跟踪轨迹碎片（broken trajectories）重分配问题，难以满足运动分析的精度要求；基于光流瞬时速度矢量场的流矢量聚类方法难以描述多状态运动轨迹。本研究立足现有视频监控中的流场人群分析技术，瞄准其在实践中遇到的多状态运动轨迹在复杂背景下的精确描述问题，拟将光流场无参数统计建模、半监督聚类、动态规划等技术相结合，不以个体特征，而是以流场统计分布特征为基元，研究其实现多模式运动轨迹重建的方法，强调其在复杂光照条件下的鲁棒性。建立一个包含高密度人群、多重运动模式、复杂光照条件的视频数据库，验证高密度人群运动轨迹重建算法性能。预期在主流SCI期刊和高水平国际会议上发表论文5~7篇，申请发明专利1~2项，培养硕士研究生2~3名。

本课题以高密度人群场景的目标检测、分割和跟踪问题为研究对象。本研究在既往工作的基础上，聚焦高密度场景下的人脸检测，进行基于上下文信息的人脸检测算法的研究。探索如何使用人脸的上下文信息来提高人脸检测算法的能力。在人脸检测研究中，上下文信息是影响检测结果的重要因素。首先，在一阶段目标检测器中的基本结构锚结构上使用上下文信息，在自制的高密度人群中的人脸数据集上探索了合理的上下文信息扩增倍数，从而在人脸检测算法中将空间上下文信息的使用方式具体到了深度模型训练时的每一个样本。其次，还提出了针对遮挡问题的基于分数具体化的非极大值抑制算法。最后，将同一张图片上的人脸的共存关系看作一种广义的上下文信息，提出了基于人脸空间关系的冗余框去除算法和基于相似人脸共存关系的人脸检测算法。此外，本研究提出了融合时空域特征，跨场景分割的方法，并利用注意力机制将各个层次的静态图像信息和光流特征进行融合，填补了高层和低层特征之间的语义鸿沟。提出了基于生成对抗网络的分割方法，并根据分割任务和数据特点在生成对抗网络损失函数基础上增加重构误差和稀疏性约束；在模型结构上设计了选择性U-Net兼顾了召回率和虚警率的平衡。本项目共发表学术论文10篇，申请国家发明专利7项，制备高密度人群数据集一个。