引入新大脑皮层视觉感知计算模型和深度信息的室内人体动作识别

Human action recognition in daily living has been actively studied due to its relevance to a large variety of applications, such as video surveillance, video retrieval, human- computer interaction. The difficulties of action recognition come from several aspects including its complexity and variations of human action, uncertain settings. On the topic of representation learning for human action, we have conducted extensive studies on the nature of Intelligence with the neocortical structures and connectivity, and strategies of sensory coding. It is first time to define this mechanism as hierarchical models based on sparse coding and redundant filtering, and propose a novel computational model for visual perception on neocortex, and then introduced into the human action recognition with the depth (RGB-D) sensors. 1) Mid-level representations for action recognition are presented based on mathematical algorithm of slow feature analysis (SFA) and bionic algorithm of sparse distributed representation (SDR), respectively. 2) Multi-class SVM classifier or long short-term memory model is trained for individual action classification. And-or graph promotes the action recognition in the scene with individual-scene interaction. Finally, a prototype system of video surveillance is established for indoor human action recognition in daily living.

真实自然场景下的人体动作识别在视频监控、视频检索、人机交互等领域有着广阔的应用前景，是近年来的研究热点和难点，其难点为人体动作的复杂性和多变性，复杂环境干扰等。针对人体动作的表示学习问题，从“智能”的本质出发，深入研究了新大脑皮层的组织结构及其工作机理，首次将其总结为稀疏编码-冗余滤波机制及其层级模式，并基于这一结论首次提出一种新大脑皮层视觉感知计算模型框架，进而将其引入到RGB-D视频图像序列中的人体动作识别中：1）动作表示：从数学算法角度提出一种基于缓变特征分析SFA的动作表示方法；从仿生模拟角度提出一种基于分布式稀疏表征SDR的动作表示方法。2）动作识别：针对室内单个人体的动作识别问题，使用多类SVM分类器或长短时记忆网络进行动作分类与识别；针对人-环境交互时的人体动作识别问题，提出一种基于与或图语法引导下的动作识别。最后搭建一套室内真实自然场景下的人体动作识别视频监控原型系统。

真实自然场景下的人体动作识别是近年来计算机视觉领域的研究热点和难题，其核心科学问题是长时间序列的识别分类问题，其在视频监控、视频检索、人机交互等领域有着广阔的应用前景。在本项目资助下，项目对智能的本质进行了探索，并尝试将自下而上数据驱动和自上而下语义推理相结合，主要完成了以下三方面的研究工作：.1）在新大脑皮层视觉感知计算模型方面，总结了神经科学领域在新大脑皮层结构及工作机理方面的研究成果，首次将其总结为稀疏编码-冗余滤波机制及其层级模式，并对稀疏编码阶段和冗余滤波阶段进行了功能定义。.2）在人体动作表示方面，提出基于新大脑皮层视觉感知计算模型的动作表示方法，探索了基于新大脑皮层多层级感知计算表示模型的动作表示方法和基于Gaussian-Hermite矩块选择的生物启发层级表示模型。.3）在人体动作识别方面，研究了一种基于噪声标签清洗的半监督分割方法，用于人与环境交互过程中的动作区域分割；研究了室内真实自然场景下的人体与环境交互下的动作分类与识别方法。.项目研究成果目前已延伸应用于国防领域，为解决两个紧迫应用难题奠定了基础。