基于深度时空轨迹特征的复杂场景人体行为识别

Action Recognition is one of the most important topics in computer vision and image understanding. However, the existing action recognition approaches are affected by complicated background, illumination, object views, deformation in the scenes, which make them difficult to be adaptive to various natural scene applications. In this project, focusing on action recognition in complex scenes, we combine the merits of hand-crafted and deep-learned features, and finally bring out the significant performance improvement of action recognition algorithm. For the complicated multisource noise in the actual scenes, we investigate the feature extraction method named warped flow trajectory, to eliminate ill effects of noise. We utilize the spatial-temporal connection among frames, and implement the feature fusion between trajectory descriptor and deep convolution, to enhance the representative capacity of feature. We also work out the feature understanding and action recognition by local constrained and sparse reconstruction model. The research content involves the low-level feature extraction and denoising, middle-level heterogeneous feature fusion, high-level feature understanding and modeling. The research results are significant to object representation and recognition theories in image or video, and valuable to practical applications such as intelligent video surveillance, content-based video retrieval and human-computer interaction systems.

人体行为识别是计算机视觉与图像理解领域的核心研究课题之一。现有行为识别系统受到复杂背景、光照、目标视角和形变等环境噪声的影响，难以应对复杂场景视频数据的挑战。本项目以复杂场景的人体行为识别为对象，采用手工设计特征与深度学习特征融合的方法实现目标描述，以显著提高人体行为识别算法性能。针对复杂场景多源环境噪声，研究波形光流轨迹特征提取方法，消除噪声对特征描述的影响；利用时空信息关联，研究光流轨迹与深度卷积特征融合方法，增强特征的表示能力；采用局部信息约束与稀疏重构模型，实现特征理解和行为识别。项目研究内容涉及了底层特征提取去噪、中层异质特征融合和高层特征理解建模问题。研究成果对于图像/视频目标表示与识别具有重要理论意义，对于视频监控、运动分析、视频检索、人机交互等系统具有应用价值。

人体行为识别是计算机视觉与图像理解领域的核心研究课题之一。现有行为识别系统受到复杂背景、光照、目标视角和形变等环境噪声的影响，难以应对复杂场景视频数据的挑战。本项目以复杂场景的人体行为识别为对象，采用手工设计特征与深度学习特征融合的方法实现目标描述，以显著提高人体行为识别算法性能。项目研究内容涉及了底层特征提取去噪、中层异质特征融合和高层特征理解建模问题，研究成果为图像/视频目标表示与识别提供理论支撑，并在视频监控、运动分析、视频检索、人机交互等领域具有应用价值。.1）本项目针对复杂场景行为识别，提出了一系列基于流形迁移约束、流形约束的卷积稀疏编码、自适应多类相关滤波的视觉数据结构优化和行为识别方法，发表在顶级期刊PR2018、TIP2019、JSTSP2017上，从理论上证明数据的结构可以迁移到变量上作为约束条件，揭示视觉感知中数据连续的重要性，并且将光流轨迹与深度流形迁移学习的卷积特征融合，用于解决视频中的运动目标行为特征提取、特征融合和特征理解问题。.2）本项目针对时空数据特征描述开展深入研究，提出了记忆注意力网络、分层残差随机网络、Fisher判别循环神经网络、协同表示轨迹分析等动作识别和行为识别方法，发表在顶级会议IJCAI2018和顶级期刊IS2018、PR2018上，提高了模型和特征的可解释性，加强了对视频中运动目标行为的全局动态性的理解，用于完成行为识别特征提取和特征理解的研究目标。.3）本项目面向资源受限的移动端实际应用研究，提出了投影卷积神经网络、调制卷积神经网络等二值化神经网络压缩方法，发表在顶级会议CVPR2018、AAAI2019上，在节省内存和减少计算成本的同时在ImageNet上获得了最好的二值化深度学习模型压缩效果，用于解决行为识别特征提取、特征融合和特征理解计算模型在端侧应用的模型压缩问题，为所提出网络模型的实际应用奠定了基础。.在自然基金的支持下共发表论文15 篇，其中SCI 收录7 篇，中文核心2篇，EI收录会议论文6 篇， Google Scholar统计被引用148次，主要包括本领域内有影响力的期刊和会议IEEE TIP、JSTSP、PR、IS、CVPR、IJCAI、AAAI等。授权发明专利2项、授权软件著作权2项，培养研究生毕业5人、在读3人。