基于场景语意理解和深度学习特征表述的视频行为分析研究

With today's society entering the era of big data and intelligence, video-behavior-analysis technology has been paid more and more attention. The ability to identify what occurred in a given video and to understand the video semantic information is a prerequisite for intelligent interaction. The traditional behavior-analysis method only takes the movement into consideration, ignoring the correlation information between scenes and behaviors. Meanwhile, the extracted hand-crafted features can’t describe action more in depth, therefore no fine analysis results can be obtained. In this application, based on the latest research progress of deep learning, we propose an action-analysis method with scene understanding as an assistance. Benefitting from the help of correlation information between scenes and behaviors as well as representational features extracted from videos via deep-learning method, we can improve the accuracy of behavior recognition and even classify similar actions. This research project includes: scene classification, deep-learned representation of scene categories and attributes properties; behavior classification and the spatial-temporal location of behavior; the acquisition of correlation information between scenes and behaviors; behavior analysis with the assistance of correlation information. The research results can be applied to a number of works related to behavior identification and analysis, promoting the transformation of related technologies to actual products and accelerating the progress of intelligent industry.

随着当今社会步入大数据和智能化时代，视频行为分析技术越来越多地受到人们的重视。给定一段视频，能够对其中发生的行为进行识别，进而理解视频的语意信息是实现智能化交互的前提。传统行为分析方法从运动本身出发，忽略了场景和行为之间的关联性；同时，由于所提取的人工构造特征无法对运动信息进行深层次的表述，因而无法取得很好的分析结果。在本申请书中，结合深度学习技术的最新进展，我们提出一种场景理解辅助下的行为分析方法。该方法利用场景和行为之间的关联性信息，由深度学习方法提取表述性特征，从而提高行为识别的准确率或者实现相似动作的精细分析。本项目的研究内容包括：场景分类，场景属性深度特征表述；行为分类及行为发生时间域、空间域定位；场景与行为关联性信息获取；利用关联性信息辅助行为分析。该项研究成果可以应用于多项与行为识别相关的分析工作，推动智能化产业的进展。

视频行为分析技术即是用计算机实现对视频内容自动地分析和理解。近年来，随着深度学习技术的不断发展，同时用于视频内容分析的大规模数据集的不断出现，这两者相结合使得智能视频分析越来越引起人们的关注。在本项研究中，我们利用深度学习技术来实现视频行为分类和定位，主要解决以下问题：1. 视频行为检测技术，2. 场景标签分类技术，3. 场景和物体检测如何辅助视频行为分析。具体的研究内容包括：1. 场景分类，场景属性深度特征表述，2. 场景显著性区域与行为识别关联性信息挖掘， 3. 视频行为分类，行为时间-空间域定位，4. 场景、物体检测辅助下视频行为识别。在具体的算法和模型设计中，借鉴了深度学习最新的研究成果，采用了深度强化学习、循环卷积神经网络、空洞卷积神经网络、多任务监督学习等框架，并实现了方法模型的创新。研究中所提出的方法在多个公开数据集上取得了国际领先的检测性能，所取得评价得分可以作为后续研究的基准值。同时，研究结果也证实了利用场景和物体等关联性信息确实可以提升行为检测的精准度。取得的重要结果和科学意义包括：1. 提出一种时空上下文信息感知的行为检测模型克服了运动带来的模糊失焦，2. 提出一种模拟人类感知的自适应行为提议模型，克服了视频逐帧处理带来的巨大计算复杂度，3.提出显著性区域检测和行为识别联合学习框架实现知识传递和参数共享，有效提升了单独任务的检测性能。所提出的模型算法，经过优化压缩后可能应用在机器人-人交互的环境中，实现实时在线地视频行为分析。