人体行为识别的时空耦合随机图模型及其高效推理算法研究

As one of the key techniques in human action recognition, modeling spatial-temporal coupling of action is a challenging but non-well studied issue. This project will, systematically and deeply, investigate this issue with the stochastic graph theory. It will propose novel concepts, models, and algorithms to represent the spatial-temporal coupling and recognize human actions accurately and efficiently. Based on my previous work of hierarchical understanding of action, it proposes stochastic graphical models of multi-attributes with hidden structures to model the temporal coupling and recognize actions with complex temporal coupling. It further proposes hierarchical graphical models of spatial-temporal coupling to formulate the spatial coupling and recognize actions interacting with objects. For the long sequence with multiple actions, it proposes stochastic graphical models with multilayer coupling to simultaneously segment the sequence and recognize the actions. Inspired by the DNA double helix structure, it proposes pseudo-DNA double helix ascending algorithm to carry out the inference on the graphical models of multi-attribute coupling, which overcomes the drawbacks of low accuracy and inefficiency of conventional methods. Compared with the other work, the issues studied by this project are of essence and the contents are systematic. It is also creative in the aspects of concepts, models and cross-disciplines. This research is of great significance both in the theory and applications. For the fundamentality and generality, the proposed models can be applied to many fields of industry and human life.

作为人体行为识别的关键技术，行为时空耦合建模是一项极富挑战性但未被深入研究的课题。本项目利用随机图理论，对行为的时空耦合进行系统深入的研究，提出新的概念表达、理论模型和计算方法对人体行为进行高精度高效率识别。以申请人之前的行为层次化理解工作为基础，本项目提出多属性隐结构随机图对行为时间域耦合建模、并识别具有复杂时间域耦合的行为；提出时空耦合分层随机图模型描述行为空间域耦合、并识别具有复杂物体交互的行为；对含有多个行为的长序列，提出多层次耦合随机图模型进行多行为协同分割与识别；针对传统方法求解多属性耦合图精度低、速度慢的问题，受DNA双螺旋结构启发，提出类DNA螺旋上升高效推理算法。与其他研究工作比，本项目研究的问题具有本质性、内容具有系统性，在思想概念、模型方法和学科交叉上具有创新性。本项目的研究具有重要的科学意义和应用前景，提出的模型具有良好的基础性和通用性，可应用于国计民生诸多领域。

作为人体行为识别的关键技术，行为时空耦合建模是一项极富挑战性但未被深入研究的课题。本项目利用随机图理论，对行为的时空耦合进行系统深入研究，提出新的概念表达、理论模型和计算方法对人体行为进行高精度高效率识别。本文的主要研究内容和贡献包括：.（1）提出4D时空交互模型来同时分割视频序列、识别视频中的事件和物体。该模型用分层随机图来表达事件的时空域结构，将视频分割、事件识别、物体定位和识别等几个复杂任务统一在一个框架中；推理算法同时完成视频序列分割、事件识别和物体识别任务；建立了一个大规模的三维多视点事件数据库。.（2）提出了一个时空神经网络模型来识别人在视频序列中的行为。该网络由两个相连接的架构组成。第一部分是基于双流架构的空间网络模型，用来从视频帧中提取彩色图像特征和光流特征。第二部分是一组长短记忆神经网络模型，它跟随空间网络之后并动态接受空间网络模型的输出结果，通过该部分获得人体行为的时间表征。.（3）提出预测人的注意力的隐意图模型。该模型将人的意图表达为隐变量，其驱动和控制人的注意力的特征和运动。人的注意力预测成为一个和隐意图联合推断的优化问题。该模型利用一个多层随机图来综合表达人的注意力和隐意图，采用类EM算法学习模型的参数，采用动态规划算法进行模型推理。给定一个三维视频序列，该模型可有效学习和预测人的注意力。.（4）提出了视频序列中人的意图与行为联合预测识别模型。给定一个复杂行为RGB-D视频，该模型联合计算：1）人往哪里看–注意力; 2）为什么人往那里看-意图预测; 3）人正在执行什么行为-行为识别。一个行为被表示为几个在时间上相互转换的子过程，采用束搜索算法对模型进行推理并输出注意力、注意力的驱动和任务。. 本项目相关成果发表在TPAMI, TMM, CVPR, IJCAI等国际知名会议期刊，研究成果可应用于人机交互、视频监控和动画生成等。