视频中交互行为的表示与理解方法

The analysis of interactive actions is a hot topic in the domain of computer vision and has promising applications in intelligent video surveillance, content based video retrevial, intelligent human-computer interaction and etc.At present, most interactive activity models are built by first extracting a lot of local features, then dimension reduction and clustering techniques are used to obtain the codebook of activity, the resulted model usually cannot express the inner feature of the activity accurately. Alos most of current activity analysis method focus on activity recognition itself, and do not combine the lower features and context infromation together to fully utilize the information contained in the interactive activity. In this project, we will focus on the inner features of interactive activity to establish effictive activity model for interactive activity understanding. The research include: 1) Establish the model of individual activity by Weighted Adaptive Metric Learning, and establish the model of interactive activity by interactive phase; 2) Combine the lower level features (human part), activity recognition, and the context infromation together to recognize the interactive activity effectively. 3) Collect and publish video data set of interactive activity.

交互行为的自动理解在智能监控、智能人机交互等领域有着广泛的应用前景，是计算机视觉领域备受关注的新方向。现有的交互行为理解方法存在两个问题，一是交互行为模型主要是通过直接抽取大量的视频特征建立的，通常不能准确反映交互行为的内在规律；二是大多数交互行为识别方法是直接针对运动信息进行分析，没有将底层的人体部件与高层的环境上下文信息进行有机结合。针对这些问题，本项目主要研究视频中交互行为的内在规律，基于概率统计模型并结合上下文信息，建立交互行为自动识别与理解的理论与方法。内容包括：研究行为视频单词或行为基元的码本学习算法，建立个体行为之间的关系描述子"交互短语"，研究基于层级条件随机场模型的交互行为识别方法，以及基于环境上下文的交互行为理解方法。为了验证所提出的理论和算法，本项目还建立并发布交互行为视频数据集。

视频中交互行为的表示与理解在智能监控，智能人机交互等领域有着广泛的应用前景，是计算机视觉领域备受关注的前沿方向之一。本项目围绕视频目标跟踪和交互行为分析的相关工作展开了研究，四年来的主要研究内容归纳为以下三个方面：（1） 对视频目标跟踪的相关技术进行了深入研究，包括目标表观建模方法，样本选择方法以及数据关联方法等；（2）对视频中交互行为的表示与理解进行了深入研究，包括基于交互短语和中层特征的交互动作识别方法，基于迁移学习的交互行为识别方法等内容；（3）建立了交互行为数据集BIT-interaction data set，为交互行为的分析与理解提供了公共的数据资源。本项目按照项目预定的计划进行，达到了项目预期的目标。项目的研究成果包括:（1）理论成果：项目组成员共发表期刊和会议论文 17 篇，其中会议论文4篇，包括2 篇计算机视觉领域顶级会议论文(ICCV 1篇、AAAI 1篇)，期刊论文13篇，包括 2篇TPAMI，1篇IJCV，2篇TIP，2篇TCSVT，1篇T-Cybernetics以及1篇CVIU；（2）学术交流：与美国加州大学洛杉矶分校，麻省理工大学，悉尼科技大学，微软亚洲研究院等单位进行学术交流与技术合作；（3）人才培养：项目执行期间培养了5名博士生以及13名硕士生。其中一名博士生获得中国图像图形学会优秀博士论文，一名博士生获得北京理工大学优秀博士论文，多名硕士生获得北京理工大学计算机学院优秀硕士毕业论文。