基于人与物体的空间关系的互动特征表达建模

Human action recognition plays an important role in video and image understanding and analysis. It can be applied to Intelligent Video Surveillance systems to automatically analyze surveillance data. With the rapid growth in the use of CCTV cameras for video surveillance, the amount of surveillance data to be processed increases significantly. Such a huge demand in automation makes action recognition became more and more important in our society. This project will focus on developing a new representation model in this challenging research topic. In particular, we will develop a View-insensitive spatial relation based model to represent Human-Object interaction using 3D data. Preliminary results show that the prototype of our new representation is robust in different situations. By using our method, the accuracy of video and image understanding and analysis can be improved. The features of our new model are: 1) Extracting important spatial relations as an abstract representation of Human-Object interaction. Such an abstract representation can robustly describe the interaction data with noise or errors; 2) The representation model is flexible and extensible which can be used for encoding different types of interactions; 3) Our model is view-insensitive which can robustly and accurately represent the interaction data captured from different views. The results of this project will contribute to the research in action recognition.

人类行为识别在视频画面理解与分析上有着重要的角色，并能广泛地应用到智能视频监控上，随着闭路电视部署量的迅速增长及所需处理的监测数据不断上升，人类行为识别具有更重要的社会及经济价值。本项目将集中研究这富有挑战性课题，探讨如何利用人与物体的空间关系及三维空间数据，并根据不同类型互动的特征及共同点，建构一个视角不敏感的人与物体互动特征表达模型描述人类的行为，改善视频画面理解分析的准确性及鲁捧性。这个表达模型的特色包括：1)抽取重要的空间关系作抽象的互动特征表达，能更准确地描述含误差或噪音的互动数据；2)互动特征表达的可扩展性能描述不同类型的互动; 3)视角不敏感的特性能有效地描述在不同拍摄角度下获取的互动数据。本项目的成果将会在人类行为识别领域做出贡献，并提升上下文感知行为识别的实用性。

人类行为识别在视频画面理解与分析上有着重要的角色，并能广泛地应用到智能视频监控上，随着闭路电视部署量的迅速增长及所需处理的监测数据不断上升，人类行为识别具有更重要的社会及经济价值。本项目集中研究这富有挑战性课题，探讨如何利用人与物体的空间关系及三维空间数据，并根据不同类型互动的特征及共同点，建构一个视角不敏感的人与物体互动特征表达模型描述人类的行为，改善视频画面理解分析的准确性及鲁捧性。本项目的主要研究内容包括：1)抽取重要的空间关系作抽象的互动特征表达，能更准确地描述含误差或噪音的互动数据；2)互动特征表达的可扩展性能描述不同类型的互动。本项目的成果在人类行为识别领域做出贡献，并提升上下文感知行为识别的实用性。.在过去的三年中, 项目负责人及其团队跟据项目计划书中订下的方向步进行深入研究, 并获得可喜的成果, 从实验中我们利用不同的运动数据(如 MSR Action3D, Florence 3D, SBU Kinect Interaction Dataset 等)进行测试，并跟现有的方法比较，结果显示利用我们的方法能提高分类的准确度1%至8%，肯定了我们的研究思路。在项目完结时, 项目负责人及团队成功完成计划书中的各个研究方向, 并成功把研究成果在不同的国际期刊及学术交流会上发表。