基于结构语义和行为先验的深度视频场景识别模型研究

Scene recognition is one of the core issues in the field of video analysis and understanding, which has significant application value. However, there are also some remaining problems in scene recognition that need to be solved, firstly, there is a lack of studies on developing effective video scene recognition model; secondly, most existing methods failed in systematically and deeply exploiting the structural semantic information of scene; finally, the importance of human behavior information for scene recognition is ignored. Recent research shows that the exploiting of the structural semantics is a crucial and challenging point in scene recognition, and the scene category is highly relevant to human behavior information. Hence, in order to solve the key scientific problems in video scene recognition, we exploit the structural semantic information of scene from multiple views, and propose a local structural semantics expressing model by using the structured dictionary learning and a deep manifold learning model method with spatial-temporal constraint, moreover, we develop a deep recognition model of video scene from a new perspective, which use the multi-view structural semantics and the behavioral priors to complement the deep learning model for improving the performance of scene recognition model. Through our studies, it is hopefully to provide a novel method and mechanism for the video scene recognition, and add the references and supports for other video understanding tasks.

场景识别是视频分析与理解研究的关键问题之一，具有重要的现实应用价值。但目前仍然存在许多问题亟待解决：大多数场景识别方法都是针对图像提出的，针对视频场景识别的研究较少；场景结构语义信息未被系统、深入的挖掘；人的行为模式信息对场景识别的重要性未被充分重视。近期研究表明：挖掘结构语义是场景识别的关键和挑战；场景语义类别与场景中人的行为模式具有高度相关性。本项目以探索解决视频场景识别中存在的基础和关键科学问题为出发点，从多视角对场景结构语义信息进行挖掘和表达，提出了基于结构化字典学习的局部语义表达模型、基于时-空联合约束的深度流形学习模型；充分挖掘并融合结构语义信息和人的行为模式先验知识，以新的角度构建深度视频场景识别模型，进一步提高现有视频场景识别模型的性能。通过本项目的研究，不仅有望为场景识别探索新的研究思路和机制，并将对视频理解的相关领域提供借鉴与支持。

场景识别是视频分析与处理领域的关键任务之一，对其进行深入研究具有重要的理论研究与现实应用意义。本项目主要深入挖掘场景数据所蕴含的规律和特性，从不同视角给出场景结构语义表达模型，并基于多角度的特征信息、场景中人行为信息实现对视频场景的有效识别，旨在提高场景识别模型的性能和智能化水平。. 在项目执行期间，项目组分别从全局和局部两个角度对场景结构语义表达与特征降维进行研究；基于场景数据的分布和属性，研究基于联合约束机制来自适应构建图，以刻画数据的本质流形结构；从场景语义类别与人的行为模式具有相关性的角度出发，研究视频中人的行为语义识别，以构建场景识别的先验信息，并研究场景多视角语义特征信息的融合机制来构建有效的场景识别模型；分别基于卷积神经网络和字典学习研究有效的主动学习策略，以使得深度和传统浅层识别模型在有标签训练样本较少时均可获得较好的识别性能。基于本项目的研究内容，项目组提出了一系列有效的模型与方法，达到了预期的研究目标，取得了预期的研究成果。. 本项目的研究可为其他相关图像或视频分析与理解领域提供理论基础和技术借鉴。目前，项目组已将本项目的相关方法和技术初步应用于医学影像分析与理解、学生课堂行为分析与理解、监控视频异常事件检测等领域。