视频中交互行为的自动分析与理解

The analysis of interactive activities is a hot topic in the domain of computer vision and has promising applications in intelligent video surveillance, content based video retrevial, intelligent human-computer interaction and etc.At present, there are three problems remain unsolved in the analysis of interactive activities.The first problem is that, usually, the model of activities is predefined by domain experts, which means huge manual cost，and the model often contains the experts' sujective opinions which makes the model unable to express the inner feature of the activities accurately. The seconde problem is that most of current activities analysis method focus on action recognition in the low level or activities analysis in the high level, and do not combine action recognition,activity analysis and the scene understanding together to fully utilize the information contained in the interactive activities. The third problem is that there is no stardard interactive activities data set.To solve these problems,we propose a framework for learning and parsing interactive activities in video which includes: (1) How to model the interactive actions and activities and how to learn the model automatically.We plan to use relation set to model interactive actions, and use stochastic contenx sensitive grammar to model the interactive activities. The model will be established by machine learning method automaticlly. (2) How to parse the interactive activities effectively. We plan to employ a stochastic parsing algorithm to keep all the ambiguities in the parsing process and achieve the globally optimal parsing solution in a Bayesian framework which can obtain the results of interactive action recognition, object detection and recognition, and activities recognition all together. (3) How to build the interactive activities Data Set effectively.We plan to collect video data from the internet and capture video data in the campus, and mark the video data by combining the parsing algorithm mentioned above and manually editing to reduce the manual cost.

交互行为的分析与理解由于其在智能监控，智能人机交互等领域有着广泛的应用前景，成为计算机视觉领域备受关注的前沿方向之一。目前的交互行为分析与理解方法存在三个问题有待解决: 一是行为模型多是人工指定，不能准确反映交互行为的内在特征；二是现有的行为分析方法多是针对底层动作或高层行为进行分析，没有将动作，行为以及场景理解进行有机的结合；三是目前还没有一个标准的交互行为数据集。针对以上问题，本课题主要研究：（1）交互动作与行为的模型表示与学习方法，研究通过机器学习的方法从视频中自动的学习交互动作与交互行为模型，使得计算机可以通过观察视频从而理解视频；（2）交互行为的统计解析方法，研究如何保留行为分析各个阶段的不确定性，得到具有最大后验概率的包含动作识别，物体识别以及行为识别的行为分析结果。（3）建立并发布交互行为数据集。本课题的研究成果将会对视频中交互行为的分析与理解有着重要的促进作用。

交互行为的分析与理解由于其在智能监控，智能人机交互等领域有着广泛的应用前景，成为计算机视觉领域备受关注的前沿方向之一。目前的交互行为分析与理解方法存在三个问题有待解决: 一是行为模型多是人工指定，不能准确反映交互行为的内在特征；二是现有的行为分析方法多是针对底层动作或高层行为进行分析，没有将动作，行为以及场景理解进行有机的结合；三是目前还没有一个标准的交互行为数据集。针对以上问题，本课题主要研究：（1）交互动作与行为的模型表示与学习方法，研究通过机器学习的方法从视频中自动的学习交互动作与交互行为模型，使得计算机可以通过观察视频从而理解视频；（2）交互行为的统计解析方法，研究如何保留行为分析各个阶段的不确定性，得到具有最大后验概率的包含动作识别，物体识别和行为识别的行为分析结果。（3）建立并发布交互行为数据集。. 本课题的主要研究成果如下：. （1）使用与或图作为交互行为的模型，在信息投影和最小描述距离准则的框架之下进行交互行为与或图的学习，可从训练数据中自动的得到交互行为的与或图模型的结构及参数，从而可以准确的反映交互行为的内在特征；. （2）基于交互行为的与或图模型，提出了基于统计解析的交互行为分析与识别方法，可以识别出视频中每一时刻所发生的动作、所涉及到的行为以及动作中涉及到的物体等信息；. （3）提出了基于环境上下文信息的行为识别方法，将行为所涉及到的所有环境上下文信息结合在一个统一的概率框架之下，将行为所涉及到的各种上下文信息统一表达为行为的能量函数，通过最小化能量得到最终的行为识别结果；. （4）进行了视频中行人的跟踪方法研究，采用基于锚点的半监督学习方法学习行人的表观模型，可以得到准确的行人跟踪结果，为进行交互行为分析提供基础数据；. （5）建立了交互行为数据集。. 本课题的研究成果将会对视频中交互行为的分析与理解有着重要的促进作用。