面向体育视频的小规模群体行为分析

Sports video analysis has been attracted a lot of attentions both among domestic and abroad researchers, and has become a hot research topic in the field of intelligence multimedia analysis due to its economic and sociological significance. Traditional sports video analysis is to study the contents of the video and mainly focuses on mid-level semantic information extraction, wonderful event detection, and automatic summarize generation and video retrieval, etc. Which ignores the athletes and their interactions. In this proposal, we intend to study small group behaviors in sports video and establish a theoretical framework for athletes’ group behavior analysis in sports video. Specifically, we will explore multi-modal information perception methods and fusion scheme. Furthermore, we will study fast and robust multi-objects tracking algorithm under complex background, and relocating methods for a target in different cameras. Based on the previous studies, we will investigate small group behavior analysis and event analysis methods for sports video to provide available techniques for sports video strategic analysis and tactical planning. The research of this project will not only supply strong technical foundation for sport video analysis, event detection and other applications and to improve theoretical framework for sports video analysis, but also can promote the breakthrough of vision-based small group behavior analysis and has great theoretical value for small group behavior analysis in surveillance video.

体育视频分析因其重要的经济和社会学意义正受到国内外科研工作者的广泛关注，并成为多媒体智能处理领域内的一个研究热点。传统的体育视频分析集中在中级语义信息提取、精彩事件检测、自动摘要生成、视频检索等方向，主要针对视频内容进行研究，而忽视了对运动主体即运动员及其之间的互动行为的分析。本项目拟对体育视频中小规模的群体行为进行研究，建立基于运动员群体行为的事件分析理论框架。具体的将研究视频中视觉、音频和文本多模态特征感知及融合方法，及复杂背景下快速、鲁棒的多目标协同跟踪算法，同时构建同一目标在不同镜头下的重定位模型，建立面向体育视频的小规模群体行为分析和事件检测理论框架，为体育视频策略分析、战术规划等应用提供有效的技术支撑。本项目的研究不仅为面向体育视频的战术分析、事件检测等应用提供有力的技术基础，对完善体育视频分析理论框架具有重要的意义，同时对监控视频中小规模群体行为识别和视频理解也具有理论价值。

本项目对面向体育视频的小规模群体行为识别算法进行了深入探索，并取得较大进展。作为研究的基础，我们采集了面向体育视频的小规模群体行为分析的体育视频库，并利用该数据库，围绕群体行为分析展开了一系列底层到高层，基础到应用的研究。我们在目标跟踪与行为识别、目标检索等任务上，先后提出了具有尺度遮挡鲁棒的跟踪模型，运动员协同跟踪与行为识别模型等。项目期间共发表论文21篇，申请专利1项。IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，European Conference on Computer Vision (ECCV)等国际权威学术会议上发表论文14篇，在IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)等国际权威学术期刊上发表SCI检索论文7篇，申请专利1项。代表成果有：.1.建立了面向体育视频的小规模群体行为分析的体育视频库：通过对真实的体育比赛视频进行跟踪标注和动作标注，使其满足了单目标跟踪任务，多目标跟踪任务，单目标动作识别任务和群体行为识别任务，为后续的研究奠定了基础。.2.提出了协同的单目标运动员跟踪与行为识别方法：不同于以往的目标跟踪和动作识别作为两个独立的任务来进行研究，在体育场景下整合两个任务具有十分重要的意义。我们构建了一个协同的框架，可以同时进行运动员跟踪和技战术动作识别。其中新提出的尺度和遮挡鲁棒的目标跟踪模型在处理尺度变化和物体遮挡问题上具有良好的表现，区域导向的递归神经网络模型可以对时序演变进行有效的建模并对技战术动作进行识别。.3.提出了基于时空语义图和结构化循环神经网络的视频中群体行为识别方法：群体行为识别问题在体育视频理解中仍然是一个关键而困难的挑战，传统方法使用手工图像特征和概率图模型来建模视频时空关系，但是这些方法只能描述浅层特征，不具备描述复杂图像内容的能力。为此，我们构造了一种语义注意力反馈神经网络模型，深度挖掘了个体之间的语义信息，提升了识别性能。.本项目按计划完成了相关研究内容，设计出了可以应用于实际场景的体育视频的小规模群体行为识别算法，同时支持其中的中间任务，例如，单目标、多目标跟踪等，完成了论文发表和专利申请，期间共培养培养博士生 4 名，硕士生 4 名