基于多特征融合的视频足球比赛中的团队行为识别方法研究

It is a great challenge for recognizing the team actions robustly and in real time and in complex scenes, because team actions recognition for video football game is vulnerable to occlusions, light, noise, perspective, multi-scale and other factors. In response to these challenges, automatic generation radial basis function neural network is researched to fuse extracted features of team behaviors to address excessive computation complexity caused by feature extraction in this project. Weighted CRFs model is researched to model for team actions of video football game and the algebra linear space is used to replace the nonlinear manifold space to simplify the calculation of modeling. Feature point detection method using multi-scale adaptive selection is intended to use to overcome the effects of the change of illumination and scale in video football game. The constructed algorithm of the prototype of local space-time code based on transfer learning algorithm is designed to solve the problem of occlusion and multi-angle. The fuzzy inference system for team actions recognition is designed to identify robustly and real-time team behaviors in video football game, solving the problems of identifying multiple behaviors occurring on the same occasion in complex scenes. Artificial neural network hybrid classifier based on prior knowledge and tree structure is designed to classify team behaviors and improve the accuracy of classification. Research of this project has great economic value and social value.

视频足球比赛中的团队行为识别易受遮挡、光照、噪声、视角以及多尺度等因素的影响，且要在复杂场景下实时鲁棒地识别团队行为，挑战极大。针对这些挑战，本项目研究用自动生成径向基函数神经网络来融合提取的团队行为的多种特征，解决因提取的特征过多导致计算的复杂性增加。研究用权重化条件随机场模型为视频足球比赛中的团队行为进行建模，用代数的线性空间取代非线性流形空间来大大简化建模过程中的计算量。拟采用多尺度自适应选择的特征点检测方法来克服视频足球比赛中的光照和尺度变化的影响。设计基于迁移学习算法的局部时空码本原型构建算法，解决遮挡和多视角问题。设计出团队行为识别的模糊推理系统实时鲁棒地进行视频足球比赛中的团队行为识别，解决在复杂场景中同一场合中的多种行为识别的问题。研究使用基于先验知识和人工神经网络的树结构混合分类器对团队行为进行分类，提高分类的准确性。本项目的研究具有极大的经济价值和社会价值。

本项目瞄准视频足球比赛中的团队行为识别易受遮挡、光照、噪声、视角以及多尺度等因 素的影响，且要在复杂场景下实时鲁棒地识别团队行为这一前沿课题，研究解决视频足球比赛中的团队行为识别中的图像分割、目标跟踪、特征提取、特征融合、分类器构建、团队行为表示及团队行为识别等问题。. 依托本项目已发表学术论文30篇，其中SCI收录期刊论文5篇，EI收录期刊论文6篇， EI收录会议论文5篇，核心期刊9篇。出版专著2部。目前申请发明专利34件，已授权发明专利9件。已培养青年教师1名，培养硕士研究生13名。项目所取得的研究成果主要体现在以下5个方面：（1）研究视频目标检测和行为识别。提出了基于动作子空间和权重条件随机场的行为识别、基于尺度自适应局部时空特征的足球比赛视频中的多运动员行为表示、基于自动生成RBF神经网络的特征融合。（2）研究多源视频目标跟踪方法。提出了基于AdaBoost置信图的红外与可见光目标跟踪、基于深度与阴影并行连接的CNNS网络同时检测大小目标算法、多特征跟踪的联合压缩表示、基于联合直方图的红外与可见光目标融合跟踪、红外与可见光目标的空间直方图表示与联合跟踪算法、基于空间直方图和模糊逻辑的多模融合跟踪算法、基于L1-APG的红外与可见光目标实时融合跟踪算法。（3）研究了足球比赛中的团队行为识别过程中有助于识别队员的圆检测算法。提出了多种高效的圆检测算法，为足球比赛中的团队行为识别过程中团队成员的检测提供了基础。（4）研究图像分割和聚类算法。提出了基于改进遗传选择算法的自动阈值图像分割方法、基于信息增益的模糊K-prototypes聚类算法、基于小生境遗传禁忌的粗糙聚类分析算法。（5）研究了在高阶马尔科夫随机场中快速高效地提取遮挡团队成员特征，并用高阶马尔科夫随机场进行预测遮挡团队成员特征。本项目的主要成果不仅可以成功应用在视频足球比赛团队行为识别相关领域，经过适当改进也可以应用于其他行为识别、目标分类和图像理解等多个领域，具有重要的理论意义和应用前景。