复杂场景中基于时空感知与稀疏响应的人体行为分析

Human behavior analysis in video is of great theoretical and practical significance in many computer vision applications, such as intelligent video surveillance and video retrieval. Due to the complexity of human motion and the diversity of the surrounding environment, human action recognition is still very challenging. Aiming at efficient local feature selection and robust classification framework of human action recognition in complex scenario, according to the selective attention and sparsity of human visual cortex neurons, this project proposes a human action recognition scheme based on the proposed spatio-temporal visual attention model and optimal features selection method by combining theoretical and practical research methods. Firstly, through the study of static and dynamic visual attention mechanisms, a spatio-temporal correlation visual attention model is presented by integrating bottom-up saliency model and top-down information. Secondly, efficient and optimal local salient features are extracted and selected by incorporating the saliency detection result and the proposed fast human location approach, and then the improved class-constrained over-complete visual dictionary is built. Finally, 1-norm based sparse representation classification is adopted for efficient and accurate action recognition. The research of this issue provides a new solution for human action recognition and a good technical support for high-level semantic understanding in relevant machine vision applications.

视频中的人体行为分析在智能视频监控、视频检索等计算机视觉领域有着重大的理论研究意义和实际应用前景。由于人体运动自身的复杂性以及外界环境的多样性，人体行为分析仍具有非常大的挑战性。本项目主要针对复杂环境下人体行为识别中的局部特征最优选择和鲁棒的分类识别框架等难点问题，根据人类视觉皮层神经元响应的选择注意和稀疏性特性，采取理论研究和实证研究相结合的方法，提出一套基于时空感知和稀疏响应的人体行为识别方案。首先探索静态与动态视觉选择注意机制，提出自底向上与自顶向下相结合的时空关联视觉注意模型，得到时空显著信息表达，结合快速人体定位方法对视频的局部显著特征进行最优子集选择，并建立具类别约束的超完备词典，采用改进的1-范数稀疏表示分类方法实现高效准确的人体行为识别。本课题的研究为人体行为识别分析提供了新的解决思路，为相关机器视觉应用中的高层语义理解提供了良好的技术支撑。

本项目针对复杂场景中基于时空感知与稀疏响应的人体行为分析问题，深入研究特征提取与选择、图像分割、分类识别等理论与方法，提出一系列相关的模型和算法。提出了基于散射变换的人体行为局部时空描述算子和基于直方图分布的局部聚合描述向量编码方法；提出了基于时空方向直方图的局部描述算子和1范数残差重建稀疏表示的人体行为识别方法；提出了一系列相关的图像分割与目标识别方法。本项目针对人体行为分析的各个环节提出了新的方法与思路，为本领域的研究提供了理论基础和技术支撑。通过基金委对本课题的资助，项目负责人得以迅速成长（晋升副研究员），形成了具有自身特色的研究队伍，在一定程度上解决了人体行为分析中的特征提取和识别方法的局限性问题，完成了项目预期目标。项目资助发表了论文共19篇，其中SCI论文5篇，EI期刊论文1篇，EI会议论文13篇，获授权发明专利3项，获授权软件著作权4项。在国内外学术交流方面，多次邀请著名专家进行学术交流，多次参加国际学术会议。人才培养方面，协助所在团队培养博士生2名，硕士生3名。