基于语义折叠的步态行为类脑感知计算模型研究

As an important research direction of visual cognition, gait behavior perceptual computing has shown the broad application prospect in the fields of remote human identification, abnormal behavior detection, pedestrian behavior prediction and etc. However, unstructured data from image and video has affected the cognitive computing for gait behavior seriously. At the same time, the existing cognitive models can not solve the problem of sequential pattern perception and learning well. In order to solve the problem, nature semantic parameters of gait behavior are intended to be extracted using a 3D parametric body reconstruction method in this application. By using the semantic folding method, the human body parameters are encoded according to their relevance using brain-like sparse distribution representation to construct the structural gait semantic data. The structural perceptual representation of gait behavior sequences can be achieved by gait semantic energy images which are generated using statistical information from several gait semantic data according to time sequences. In order to achieve the brain-like gait behavior computing on serial action context, a hierarchical structure is constructed stimulating to brain based on cortex learning algorithm and an representation layer of gait behavior sequence is introduced to represent the behavior sequence features. The Needleman-Wunsch sequence comparison algorithm is used to achieve incremental learning and solve the brain-like computing problem in the sequence action context. The gait perceptual computing model will provide the basic computing module for visual cognition.

步态行为感知计算作为视觉认知的重要研究方向，在远距离身份识别，异常行为检测和行人行为预测等领域展现出广泛的应用前景。但是非结构化的图像视频数据严重影响了步态行为的认知计算效果，同时现有的认知模型无法很好地解决序列模式的感知和学习问题。对此，本项目拟通过参数化三维人体建模方式来提取步态行为自然语义特征参数；运用语义折叠方法将人体参数按照相关度等信息进行类脑稀疏分布表示，构建结构化的步态语义数据；将多个步态语义数据依据时序关联在一起，通过统计方法生成步态语义能量图，完成对步态行为的结构化感知表示。为实现序列动作情境下的步态行为类脑计算，在脑皮质学习算法基础上，通过仿生人脑层级结构和引入步态行为序列表示层，完成对动作行为的时序特征表示；通过Needleman-Wunsch序列比较算法，实现增量学习，从而解决序列动作情境下的类脑计算问题。步态感知计算模型将为视觉认知提供基本计算模块。

步态行为感知计算是视觉认知在步态行为认知领域中的重要研究方向。本项目针对步态行为感知计算中的步态图像结构化处理和序列动作情境下的步态类脑认知问题进行研究。通过运用人体模型参数估计方法和语义折叠理论，结合层级实时记忆模型和人工神经网络模型，研究了一种基于语义折叠的步态行为类脑感知模型和步态序列动作情境下的类脑学习模型。重要研究结果如下：（1）提出了一种基于类脑语义折叠的三维步态识别方法。通过使用虚拟衣着的三维参数化人体模型来构建步态语义折叠图，实现对二维非结构化步态图像的高阶类脑语义表述。利用视角和衣着无关的步态语义特征提取网络，来解决步态识别中的视角和衣着无关的步态识别问题。实验分析表明，在步态识别的准确性和鲁棒性方面该方法有显著的提高。利用语义折叠方法，将图像信号转换成具有语义特征的信号进行处理，既可以实现步态行为特征的有效表示，也可以很好的完成步态行为数据降维；由此产生的结构化数据可直接应用于认知计算模型中。（2）提出了一种基于注意力机制的类脑层级实时记忆模型。通过引入时序特征学习能力强的类脑层级实时记忆类脑模型，并将自顶而下的注意力机制运用到网络中，结合三维步态语义折叠方法，来解决步态序列学习和识别过程中的各种外在干扰问题（衣着，视角，物体携带，遮挡等）。与传统的方法相比，所提方法不仅可以实现序列分类，还可以将各种行走的状态检测出来，以此作为先验知识来优化步态特征的提取，更好的应对各种外在的干扰因素，提高模型的鲁棒性。（3）提出了一种基于三维虚拟样本合成的异常步态识别方法。针对异常人体步态多视角训练样本少的问题，利用采集的三维人体点云数据，来估计结构化的人体参数模型，再通过对三维人体模型的视角、形体和姿态变换，来虚拟合成各视角下的数据，从而能有效扩充样本数据，显著提高异常步态行为检测和识别模型的鲁棒性。