基于产生式模型的人体行为识别与检测一体化方法研究

Human action detection aims to solve what, when and where problem of human action in a long video. It is an active and challenging research area in computer vision, including human action recognition and localization. The methods of human action recoginition and detection often based on Discriminative Model, result in a fix result.Therefore these method neither can deal with the flexibility and diversity of the result, nor can handle the newly arrived samples accompanied with the update of model. Thus, a research on human action detection based on generative model is proposed. This proposal includes: (1) develop fast foreground objects extraction method based on attention mechanism; (2) design a robust pose estimation method with random regression forest; (3) propose an view-invariant human action descriptor; (4) propose a LDA generative model for action recognition and detection. This project proposal is expected to solve these problems in human action detection, enrich the theory of human action detection in depth images, and promote the development of computer vision.

人体行为检测旨在指出长视频序列中发生的人体行为的类型、起始时间和地点，包括行为的识别和定位，是比人体行为识别更具挑战性的计算机视觉前沿研究方向。目前大部分研究中行为识别和检测主要基于判别式模型，通常只能给出确定性的结果，不能满足行为预测结果的灵活性和多样性，也无法解决行为样本层出不穷和模型更新问题。因此，本课题开展基于产生式模型的人体行为识别和检测一体化方法研究。主要内容包括：基于注意机制的候选目标区域筛选方法；部分遮挡情况下的基于随机回归森林的鲁棒人体三维姿态估计；行为的视角不变性特征设计；行为识别和检测的LDA产生式模型。本项目有望解决人体行为检测研究中存在的上述问题，丰富深度摄像机下的人体行为检测的理论和算法，为计算机视觉的发展提供理论和技术支持。

人体行为检测旨在指出长视频序列中发生的人体行为的类型、起始时间和地点，包括行为的识别和定位，是比人体行为识别更具挑战性的计算机视觉前沿研究方向。项目在系统总结国内外已有相关研究成果的基础上，对行为识别技术的研究现状，进行了分析总结，并开展了以下四方面的研究工作。.（1）基于深度学习的前景目标显著性与检测方法：针对如何快速准确的检测与定位图像与视频数据中起重要作用的前景目标，提出了一种基于深度学习的多特征融合的视觉显著性检测算法和一种基于多特征重排序的目标检测算法。.（2）基于人体关节点的行为识别方法：针对目前人体行为识别存在的特征维度高、计算复杂度高、缺乏语义解释，提出了基于部位判别力聚类的元动作的人体行为表示方法；基于特征分类熵的多元特征选择方法的人体识别行为算法。.（3）基于深度学习的行为识别方法研究：针对深度卷积神经网络在针对不定长视频的特征采样、训练时容易出现过拟合现象、行为动作时序关系的表述，提出了一种以固定步长采样视频帧和分层池化的基于深度卷积神经网络的行为识别算法，双支路全卷积神经网络的行为识别算法，基于递归神经网络的行为识别算法，基于类残差循环神经网络行为识别方法。.（4）多源多标记学习算法研究：针对多标记数据的特征表征具有不同来源、特征的维度通常很大、冗余的难题，提出一种面向多数据源的多标记学习框架MLSO和一种流形正则性约束的嵌入式多标记特征选择方法MDFS。 ..在多个相关基准数据库上的相关实验结果显示，本项目研究构建的相关算法性能可以达到当前学术界的先进水平。同时，本项目的相关研究在一定程度上解决了人体行为识别与检测研究中存在的上述问题，丰富计算机视觉与机器学习在相关领域的理论和提供技术支持。