知识与数据混合驱动的概率图模型研究及在行为分析中的应用

Substantial progress has been made in the past decades in computer vision, in particular as a result of the application of statistical machine learning methods. However, the mainstream data-driven approaches cannot generalize well and become very brittle when the training data is inadequate. Furthermore, current machine learning methods cannot lend themselves easily to exploit the readily available prior knowledge, which is essential to alleviate the problem with the data and to regularize the ill-posed nature with many vision problems. In this proposal, a hybrid knowledge and data driven probabilistic graphical model is proposed. We will systematically identify and exploit prior knowledge from various sources and integrate them with the image training data. The knowledge will be converted as the format of the prior models, the constraints or the pseudo data, in order to restrict the hypothesis space and to regularize the otherwise ill-posed problems. As a result, we expect to gain the probabilistic graphical models that are less prone to overfitting, less dependent on image training data, and more robust and accurate under realistic conditions, and readily generalizable to novel visual learning tasks. The method will be applied to human activity analysis to evaluate its effectiveness. The robustness and generalization ability of the models will be especially studied under different quantity and quality conditions of the training data.

在计算机视觉中，单纯数据驱动的统计机器学习方法过于依赖训练数据，对噪声较敏感且易出现过拟合现象，因此鲁棒性和泛化性不够理想。与此同时，在训练数据之外，大量领域先验知识却往往被忽略，未被加以利用。为此我们提出一种知识与数据混合驱动的概率图模型，将先验知识与训练数据相结合，使得两种信息相互补充，以获得良好的训练效果。在本项目中，我们将系统分析和辨识计算机视觉领域不同类型的先验知识，探寻具有较强适用性的知识抽象和表示方法，将先验知识转化为先验模型、约束条件和模拟数据三种形式，与训练数据相融合，作用于概率图模型的建立、学习和优化问题的求解，以期缩小优化问题的假设空间，提高学习的收敛速度，同时有效避免过拟合现象，减少模型对训练数据数量和质量上的依赖，提高鲁棒性和泛化性。我们将在人体行为分析问题中验证该方法的有效性，以及模型在不同训练数据条件下的鲁棒性和泛化性能。

按照项目计划书的规划，本项目研究了知识与数据混合驱动的概率图模型，以及该类模型在行为、动作识别等问题的应用。在计算机视觉中，单纯数据驱动的机器学习方法过于依赖训练数据，对噪声较敏感且易出现过拟合现象，因此鲁棒性和泛化性不够理想。我们提出了一种知识与数据混合驱动的概率图模型，将先验知识与训练数据相结合，互相补充，获得了良好的学习效果。在过去三年（2013年-2015年），在本自然科学基金项目的支持下，我们探索和研究了知识与数据混合驱动方法和概率图模型学习推理中存在的若干关键问题，重点研究了先验知识的抽象和形式化表示，知识约束下的概率图模型学习和推理，提出了时间区间约束关系贝叶斯网络和时空三角链条件随机场，应用随机场模型解决带约束聚类问题，研究音视频双模态融合学习，提高行为识别的鲁棒性。项目组成员按照年度计划，围绕以上研究要点扎实有序的开展工作，并取得了一定的研究成果：共发表高质量的学术论文17篇，其中国际期刊论文8篇，国际会议论文8篇。项目组成员积极开展国际学术交流，有6人次参加国际学术会议。另外，本项目资助培养博士生4名。综上，我们按照预定计划较好的完成了各项研究内容，取得了多项先进研究成果，达到了本项目的预期研究目标。