面向视频大数据的人体行为理解关键技术研究

Current human action understanding in the era of video big data is an important research content of video intelligence processing. There is less research on related action detection and especially on action prediction. This project aims to meet the actual needs of intelligent monitoring of massive video content for automatic analysis and understanding. It mainly focuses on video feature extraction and representation, video classification and identification, video human action detection and prediction of the complex long video containing multiple persons and multiple action classes. The main research content includes: (1) for video feature extraction and representation based on deep neural network; (2) for video classification based on contextual multi-instance learning; (3) for human action detection and recognition based on random forest and Hough voting; (4) for Structured Output Support Vector Machine (SOSVM) action prediction and recognition. This project will combine video analysis technology and stand on the academic frontier. It will make a series of advanced work on video feature depth representation, sensitive video recognition algorithms for inter-frame context, and human action understanding to provide the related theories and key techniques for video human action prediction, visual intelligent surveillance and other areas.

视频大数据时代中视频人体行为理解是视频智能化处理的一个重要研究内容，相关行为检测研究特别是行为预测研究相对较少。本项目旨在面向智能监控的海量视频内容的自动分析与理解的实际需求，重点研究多人多种行为的复杂长视频下的视频特征提取与表示、视频分类与识别、视频人体行为的检测与预测。具体研究内容包括：（1）基于深度神经网络的视频特征提取与表示；（2）基于上下文多示例学习的视频分类；（3）基于随机森林和Hough投票的人体行为检测与识别；（4）基于结构化输出支持向量机SOSVM的行为预测与识别。本项目将结合视频分析技术、在视频特征深度表示方法、帧间上下文的敏感视频识别算法和人体行为理解等前沿研究领域做出一系列国际领先工作，并为视频人体行为预测、视觉智能监控等领域提供相关理论和关键技术。

泛在传感与泛在网络环境下，世界已步入海量视频的大数据时代，视频信息的爆炸性增长对视频处理技术的发展提出了迫切的重大需求，智能视频处理在国民经济和社会发展中将发挥着举足轻重的作用。在视频识别分析领域，机器识别人脸、物体的性能在某些特定领域接近甚至超过了人类，但是对于视频分析与语义理解还处在初级阶段，视频感知面临着更大的机遇与挑战。面向视频大数据的人体行为理解关键技术研究的研究目标是，针对快速发展的大量的共享视频，面向海量视频内容的自动分析与理解的实际需求，重点研究多人多种行为的复杂长视频下的视频特征提取与表示、视频分类与识别、视频人体行为的检测。本项目的具体研究内容包括：（1）提出一种基于深度神经网络的视频特征提取与表示；（2）提出一种基于上下文多示例学习的视频分类算法；（3）提出一种基于CNN与关键区域特征的人脸表情识别算法；（4）提出一种基于伪三维卷积神经网络的姿态估计方法。本项目结合模式识别技术、视频分析技术、深度学习技术以及计算理论等，在视频特征深度表示方法、帧间上下文的敏感视频识别算法和人体行为理解等前沿研究领域做出一系列国际领先工作，并为人脸表情识别、姿态估计等领域提供相关理论和关键技术。