稀疏化、结构化和判别性约束的多视角行为识别方法研究

Automated multi-view human behavior recognition is essential for intelligent surveillance, human-machine interface, digital entertainment and etc. In this proposal, we propose the multi-view human behavior recognition method induced by sparsity, structuring and discrimination constraints. The proposed method consists of three steps, object detection and tracking, visual feature extraction, and multi-view behavior modeling. Our research will focus on the third step. Specifically, it includes four main problems: 1) Problem Formulation: designing the objective function for this task by discovering the constraints for multi-view requirement and formulating the corresponding regularization terms; 2) Dictionary Learning: learning the dictionary with multi-view information based on collective representation and Fisher Discriminant Criterion; 3) Redundancy Elimination: reducing the redundant bases in the learned dictionary with Maximum Entropy Criterion; 4) Model Inference: predicting the optimal parameters based on coordinate decent method. This research will promote the system construction for multi-view human behavior recognition. Moreover, it will not only benefit the research of computer vision and pattern recognition but also provide the feasible and novel techniques for multiple applications.

自动地多视角人体行为识别已成为智能监控、人机交互和数字娱乐等领域亟待解决的问题。为了实现多视角环境下人体行为的准确识别，拟提出稀疏化、结构化和判别性约束的多视角人体行为建模方法。该方法包括目标检测和跟踪，特征提取和多视角行为建模三部分，本课题将侧重解决多约束的多视角行为建模问题，其主要内容包括四个方面：首先，模型构建：拟通过多视角问题下多约束条件的挖掘和相应正则项的制定来构建多视角行为识别目标函数；其次，词典学习：拟基于协同表示和Fisher准则实现多视角联合词典学习；再次，针对多视角信息存在较强相关性，拟基于最大熵准则实现多视角联合词典冗余信息去除；最后，模型推断：拟基于坐标下降法实现多参数模型联合最优推断。本课题研究有利于多视角人体行为识别系统构建，相关研究成果对计算机视觉和模式识别研究领域新问题和新方法的探索具有重要意义，并为相关工业界新应用的发展提供可行和创新性技术基础。

自动地多视角人体行为识别已成为智能监控、人机交互和数字娱乐等领域亟待解决的问题。为了实现多视角环境下人体行为的准确识别，本项目提出了稀疏化、结构化和判别性约束的多视角人体行为建模方法。. 本项目研究重点之一如何构建多约束下的多视角行为识别模型问题。首先，通过不同的多视角动作数据集，探究多视角动作潜在的关联特性，制定反应它们潜在关联的正则项，此外，在限定重建系数稀疏性的同时，还使得同类基赋予较接近的权重，来增强类内的一致性和类间的差异性，从而构建多视角行为识别模型；其次，在词典学习过程中首先将所有视角下各目标动作特征构建共同的初始联合词典，然后，在多视角联合词典的学习过程中，引入Fisher准则来构建正则项，使得同类样本重建系数差异最小化和不同类样本重建系数差异最大化；再次，根据高斯过程，计算多视角联合词典的熵，并基于最大熵准则实现多视角联合词典冗余信息去除。. 另一个研究重点是对构建的多参数模型如何求解以及如何构建识别模型问题。首先，研究了坐标下降法和交叉迭代方法，从而将多个变量的联合空间求解最优化的NP难问题转化为单变量的凸优化问题；其次，在识别模型中，将最优重建系数与词典训练过程中各类动作的稀疏系数平均值的差异融入到模型中。. 此外，还研究了一些与上述研究相关的基础或扩展问题，如多目标跟踪、多模态特征融合和跨越学习等问题。 . 研究小组按计划完成了规定的研究内容，达到了预期目标。. 本课题研究有利于多视角人体行为识别系统构建，相关研究成果对计算机视觉和模式识别研究领域新问题和新方法的探索具有重要意义，并为相关工业界新应用的发展提供可行和创新性技术基础。