复杂视频场景中多人在线行为分析研究

With the development of video capture technology and large-scale data storage technology, massive video resources show explosive growth. Video analysis technology has begun to attract more and more attention. Human behavior analysis, as one of the basic and core technologies in the field of video analysis, has also become a hot research topic. This project intends to online analyze the multi-person behavior in complex video scenes, and proposes automatic annotation algorithm of dense crowd attitude based on deep migration learning, fast attitude estimation algorithm of dense crowds based on spatio-temporal feature correlation, online weakly supervised activity detection algorithm based on attitude feature map of complex video scenes, to solve the problem of dense crowd, frequent occlusion and background cluster in complex video scenes. This project designs and implements an online multi-person behavior analysis system for security monitoring, verifies the validity and reliability of this project method, and provides a basis for further promotion.

随着视频采集技术和大规模数据存储技术的发展，海量视频资源呈现爆炸式增长的态势，视频分析技术开始受到越来越多的关注，而人体行为分析作为视频分析领域的基础和核心技术之一，也成为热门的研究课题。本项目拟针对复杂视频场景中的多人行为进行分析，提出基于深度迁移学习的稠密人群姿态行为自动标注算法、基于时空特征关联的密集人群快速姿态估计算法、基于复杂视频场景姿态特征图的在线弱监督行为检测算法，解决复杂视频场景人群密集、遮挡频繁、背景杂波等问题对人体行为分析造成的不利影响，设计并实现面向安防监控的在线多人行为分析系统，验证本项目方法的有效性和可靠性，为进一步推广提供依据。

本项目以海量视频数据为数据来源，针对视频分析技术存在的问题研究人体行为这一视频分析领域的基础核心技术，主要解决复杂视频场景人群密集、遮挡频繁、背景杂波等问题对人体行为分析造成的不良影响，并将研究成果应用于公共安防监控领域。主要研究内容包括：针对人体骨骼节点之间的关系及图卷积网络的特点，提出了基于姿态估计的分组交换图卷积行为识别方法，解决了行为识别模型没有充分挖掘姿态对识别结果影响的局限性；针对现有模型庞大无法满足移动端模型需求的问题，提出了基于姿态估计的轻量化行为识别方法，降低了模型的参数量提高模型的可用性；针对视频数据标注在行为检测领域的困难，提出了基于提议框互补的时序行为检测方法以及弱监督的时序行为检测方法，在没有时序标注的情况下更加准确的获取行为的时序信息。最后，本项目将研究结果融合在人体行为分析系统中，并将其在安防监控的视频中进行了验证，表现出了不错的识别检测效果。本项目的研究成果主要包括多媒体领域顶级期刊和会议的论文10余篇，申请发明专利7项，其中授权2项，培养研究生若干名，部分学生毕业后从事算法岗位工作。在后续的研究中，本项目的研究成果是进一步研究开展的重要依据，未来，项目负责人将沿着行为识别和检测继续进行深入的研究。