动态场景下视觉事件建模与识别方法研究

Visual event recognition is to recognize and describe the event from video taken from natural visual scenes. The problem covers from low level feature analysis to high level visual cognition, thus is of great theoretical significance, practical value and social demands. It has broad application perspectives in remote video surveillance, intelligent transportation, video retrieval and human computer interface. The project investigates the modeling and description of visual events in dynamical scenes. We employ the visual selective attention mechanism to find event related regions and characterize visual events by using motion futures. Then we formulate the dynamical event models in the motion feature space. The technical approach is implemented into three stages: local feature extraction, event description models and dynamical event clustering and recognition. Theoretically, we are to analyze the computing complexity and recognition performance of the proposed methods. Typical prototypes and computer simulations of visual event recognition will be provided to show feasibility and performance of the proposed methods.

视觉事件识别指的是从在自然视觉场景获取的视频中对发生的事件进行识别和描述。该问题不仅涉及到计算机视觉特征分析和模式识别问题，而且涉及到高层视觉认知表征问题，具有重要理论意义，同时具有广泛的社会需求和应用价值，在远程视频监控、智能交通、视频检索和新一代人机交互中有着广泛的应用前景。本项目研究动态场景下视觉事件的建模与描述方法，利用主动视觉机理选择视觉场景与事件主体相关特征，在运动描述空间上刻画视觉事件。进一步在视觉运动特征空间上建立事件的动态贝叶斯描述模型和模式识别方法。本项目研究主要内容主要围绕三个层次上的问题进行研究，包括局部特征描述，事件运动模式描述以及动态模式聚类与识别。在理论上分析识别算法的计算复杂度和计算效率，通过视觉事件建模的典型应用验证提出方法的性能，展示提出事件建模方法的优越性。研发视觉事件建模理论的一个典型应用，为视觉事件识别提供技术原型和相关的实验测试数据。

本项目研究视觉场景事件识别的描述模型和识别方法，该问题不仅涉及到计算机视觉特征分析和模式识别问题，而且涉及到高层视觉认知表征问题，具有重要理论意义，在远程视频监控、视频检索和新一代人机交互中有着广泛的应用前景。.本项目研究了动态场景下视觉事件的建模与描述方法。研究主要内容主要围绕三个层次上的问题进行研究，包括局部特征描述层，事件状态空间描述以及动态模式的聚类与匹配。通过视觉事件建模的典型应用验证提出方法的性能，展示提出事件建模方法的优越性。.本课题共发表论文36篇，发表论文SCI收录的论文11篇，包括IEEE PAMI, IEEE NSRE, IEEE NNLS。在CCF A类国际会议上发表论文6篇。在视觉事件特征提取、视觉事件动态模式识别和典型应用方面取得了相应研究进展。在视觉张量分解分解提取视觉事件特征方面，提出了非完整数据张量并行因子分解是通过直接提取多线性隐含因子的张量完型填值技术。利用层次化概率模型建立并行因子分解模型，对多隐含因子给予稀疏性先验约束，对模型超参数给出相应的先验约束，该模型能自适应估计分解张量的秩。.利用深度网络模型描述视觉事件的时空特特征方面，提出了基于隐含概念描述编码方法和双通道深度卷积网络结合的视觉事件描述模型，将隐含概念描述拓展到多分辨模型上，提出了多层次隐含概念描述模型。该模型对双通道深度卷积网络输出层的特征进行特征编码，然后用支持向量机进行最后的视频分类。在典型应用方面，我们开展了视频异常事件检测研究。提出了基于稀疏自编码器和递归神经网络的异常事件检测模型。该模型中的循环神经网络的预测能力可以用来检测视频中的异常事件。实验验证了循环神经网络对视频时间特征的建模能力强。另一个应用是视频行人自动计数与密度估计，针对监控摄像分辨率低，人群遮挡、形变等问题，我们提出了基于行人检测与行人跟踪人数计数算法，该原型系统取得了较高的准确率，可达到实时性的需求。