基于多视角和多模态潜在关联挖掘的人体动作识别算法研究

Automated human action recognition is essential for intelligent surveillance, human-machine interface, digital entertainment and etc. In this proposal, we propose human action recognition based on the mining of potential association of multi-view and multi-modality. The proposed method consists of three steps, object detection and tracking, visual feature extraction, and action modeling. Our research will focus on the third step. Specifically, it includes four main problems: 1) The objective function of multi-view joint sparse representation based on image set is designed to fully reconstruct the image set; 2) Adaptive weight schemes are independently distributed for different features based on the quality of sample reconstruction and fuzzy theory; 3) The potential association information of multi-view and multi-modality is mined by deep interaction of the reconstruction of image set and fuzzy theory; 4) We predict the optimal parameters for above three objection functions based on coordinate decent method, and the minimum of the reconstruction error of image set and adaptive weight scheme are utilized to achieve above human action recognition. This research will promote the system construction for human action recognition. Moreover, it will not only benefit the research of computer vision and pattern recognition but also provide the feasible and novel techniques for multiple applications.

智能地人体动作识别已成为智能监控、人机交互和数字娱乐等实际应用领域亟待解决的问题。为了解决该问题，拟提出基于多视角和多模态潜在关联挖掘的人体动作识别建模方法。该方法包括目标检测和跟踪，特征提取和动作建模三部分，本课题将针对多视角、多模态以及多视角多模态三类情况下侧重解决动作建模问题，其主要内容包括4个方面：首先，拟基于图集的多视角联合稀疏表示实现对图集的整体重建；其次，拟基于样本重建质量和模糊理论，独立地为不同模态特征分配自适应的权值；再次，拟通过图集重建和模糊理论的深度交互，实现多视角多模态潜在关联信息的挖掘；最后，拟基于坐标下降法对3个问题的目标函数实现多参数联合优化，并基于自适应权值的图集重建误差最小化原则实现以上3种情况的人体动作识别。本课题的相关研究成果对计算机视觉和模式识别研究领域新问题和新方法的探索具有重要意义，并为相关工业界新应用的发展提供可行和创新性技术基础。

人体动作识别在城市公共安全管理、养老院、数字娱乐等领域具有广阔的应用前景。由于视角、遮挡和目标本身位置等因素常常发生变化，导致识别人体动作存在很大的困难。为了克服这些困难，研究人员常常通过多个不同视角或者不同模态的摄像头对目标进行监控，因此，如何有效地挖掘多视角和多模态潜在关联是一个亟待解决的问题。本课题通过对多视角视频进行图集重建，并根据图集的重建系数自适应挖掘它们的潜在关联，同时，根据不同模态特征的重建质量和模糊理论，实现它们的自适应融合，最后，通过图集重建和模糊理论的深度交互，实现多视角多模态潜在关联信息的挖掘统一。在多个公开的动作数据集以及课题组构建的动作数据集上对所提理论和算法进行了验证，结果表明基于图集的算法能够很好地自适应挖掘多视角样本的潜在关联特性，不同模态特征也能够被自适应融合，课题组所提算法比State-of-the-art算法性能有较大的提高。本课题的相关研究成果对计算机视觉和模式识别研究领域新问题和新方法的探索具有重要意义，并为相关工业界新应用的发展提供可行和创新性技术基础。