行为识别中基于上下文信息的特征学习研究

Visual feature learning in video-based human action is a popular yet challenging topic in the computer vision field. In general, contextual information is capable of describing the spatial distribution and the sequential variances of body parts. However, traditional context-based feature learning methods cannot satisfy the requirements of efficient and accurate visual features due to the limitations such as information redundancy and low descriptive power of feature space. To sufficiently explore the contextual information and further improve the discriminative power of feature representations, we are devoted to devising multi-direction, multi-region and multi-level feature learning algorithms in this project. Specifically, our project comprises the following three parts: (1) constructing multi-direction descriptors and non-negative low rank sparse coding model based mid-level feature learning method for local context feature fusion; (2) designing multi-region deep feature based multiple kernel leaning algorithm for semantic information and background context fusion; (3) exploring multi-level contextual features based discriminative subspace learning method for mining feature complementarity. The achievements of our project provide important theoretical foundation and experimental support for feature learning in action recognition.

学习行为识别视频的特征表达是计算机视觉领域的研究热点和难点。利用上下文信息能够描述人体各部位的空间分布或动作的时序变化,但传统的基于上下文信息的特征学习方法仍然存在特征空间信息冗余、特征表示力不足等问题，无法满足高效准确的行为特征表达需求。本项目拟从多时空方向多区域多层次特征的角度出发，深入探索和挖掘上下文信息，以进一步增强视觉特征表达的辨识能力，具体从以下方面逐层开展研究：（1）研究基于多时空方向的中层特征学习，通过构建兴趣点的三维时空关系及非负低秩稀疏编码模型，挖掘局部上下文信息；（2）研究基于多区域深度特征的拓展多核学习，利用拓展多核学习算法，融合语义及背景上下文的深度特征；（3）研究基于多层次上下文特征的子空间学习，通过建立多视角强辨识力子空间学习模型，探索多层次上下文特征之间的互补性。本项目的相关研究成果可为行为识别领域特征学习的研究和应用提供较好的理论基础和技术支撑。

学习行为识别样本的特征表达是智能感知领域的研究热点和难点。利用上下文信息能够描述人体各部位的空间分布或动作的时序变化,但传统的基于上下文信息的特征学习方法仍然存在特征空间信息冗余、特征表示力不足等问题，无法满足高效准确的行为特征表达需求。本项目拟从多区域多层次多维度特征的角度出发，深入探索和挖掘上下文信息，以进一步增强特征表达的辨识能力，具体从以下方面逐层开展研究:(1)研究基于多区域深度特征的拓展多核学习，利用拓展多核学习算法，融合语义及背景上下文的深度特征；(2)研究基于多层次上下文特征的子空间学习，通过建立多视角强辨识力子空间学习模型，探索多层次上下文特征之间的互补性；(3)研究基于无源信号的时空特征学习，利用深度模型构建信号帧的时空关系，挖掘时空维度的上下文信息。本项目的相关研究成果可为行为识别领域特征学习的研究和应用提供较好的理论基础和技术支撑。