复杂行为模式的关键语义表示、流形分析及实时检测方法研究

Effective representing and modeling of complex activity is the basement of visual activity analysis, which is one of the important problems in pattern recognition. Online detection of visual human activity have extensive applications in visual surveillance, thus have significance in public security. Due to the complex features, long term and multiple actions, effective representing and modeling of complex activity are the key problems that needed to be solved in the activity analysis theory. This project will study the key semantic representation and manifold analysis of complex activity, and design the real time activity recognition algorithm. Towards the complex features and semantic structure of complex activity, study the hierarchical feature extraction, object and scene feature extraction, semantic analysis, and design the semantic segmentation method. Based on this, study the extraction, representation and manifold analysis of the key semantic of complex activity. Moreover, this project design the deep learning model concerning the spatial-temporal property of key semantic, and study the real time detection algorithm as well as abnormal activity detection algorithm. This project aims to discover the semantic structure and manifold distribution of complex activity, propose a complete set of pattern analysis theory and real time detection algorithm of complex activity, and supply theory support for visual surveillance and other engineering applications.

复杂行为特征的有效表示和建模是视觉行为分析的前提和基础，也是模式识别领域的重要问题之一。视觉人体行为的在线检测在安防监控等方面具有广泛应用，对公共安全的保障有重要意义。复杂行为由于其特征复杂、时程长、动作多等特点，其有效表示和建模是行为分析理论中亟待解决的关键问题。本项目将研究复杂行为的关键语义表示和流形分析方法，并设计实时检测算法。针对复杂行为的复杂特征和语义结构，研究多层次行为特征提取、行为对象和场景特征提取、复杂行为特征的语义分析等问题，并设计复杂行为的语义分割方法。在此基础上，研究复杂行为关键语义的提取和表示方法，对关键语义进行流形分析。此外，本项目针对关键语义的时空特性设计深度学习模型，研究复杂行为的实时检测算法，以及异常行为的在线检测算法。本项目旨在揭示复杂行为的语义结构和流形分布特性，提出一套较为完整的复杂行为模式分析理论和实时检测算法，为安防监控等工程应用提供理论支持。

复杂行为的语义特征分析和识别是行为识别的技术核心，也是行为分析理论中亟待解决的关键问题。实时行为识别在安防监控、康复医疗、老人看护等方面具有广泛的应用价值和社会意义，对公共安全具有重要意义。复杂行为特征的有效表示和建模是视觉行为分析的前提和基础，也是模式识别领域的重要问题之一。本项目的宗旨是揭示复杂行为的语义结构和流形分布特性，提出一套较为完整的复杂行为模式分析理论和实时检测算法，为安防监控等工程应用提供理论和技术支持。.具体内容方面，本项目研究了复杂行为的关键语义表示和流形分析方法，包括：（1）在不同的复杂场景下使用不同的视频采集设备和手段、以及雷达和无人机等多种传感和采集手段来获取视频、深度图和点云数据等多种不同类型的行为数据；（2）针对不同行为对象和应用场景来提取不同类型的行为和运动特征，包括动态特征、静态特征、混合特征等；（3）针对复杂行为的复杂特征和语义结构，研究人体姿态的多层次表示和估计方法、行为特征提取方法、复杂行为特征的关键语义分析等问题；（4）在此基础上，研究了复杂行为关键语义的提取和表示方法，并对关键语义进行流形分析。此外，在人体姿态和手势姿态方面也进行了深入的研究，并设计了高精度的姿态估计算法。本项目针对关键语义的时空特性设计深度学习模型，研究复杂行为和手势的实时检测算法，以及异常行为的在线检测算法。.基于本项目已发表SCI国际期刊12篇、EI检索论文16篇、获授权国家发明专利11项。有一项技术成果转让，并应用于无人机领域。所提出的行为识别方法和姿态估计方法这一系列成果在安防监控领域的行为分析和识别方面具有广泛的应用前景，在未来的公共区域安全监测和家庭、医院等区域的病人和老人的意外行为监测等方面，都具有较高的应用价值。而研究成果中的手势识别方法在未来的元宇宙领域和线上办公系统中具有深远的应用前景。