自适应视觉匹配计算模型及应用

Visual matching is a very challenging yet fundamental problem in computer vision and video analysis. The major difficulties lie in the uncertainty in high dimensional visual data, the semantic gap between visual objects and visual features, and the ambiguity of the visual observations. They have largely confronted the traditional visual matching approaches. The goal of this project is to overcome these challenges by pursuing a unified visual matching model. We plan to rigorously design the effective methods based on the supervised training data, analyze the complexity，convergence properties and dimensionality of visual matching methods. In addition, we plan to develop efficient algorithms for various visual applications, and realize software/hardware implementation. To substantialize this research, we plan to perform three cases studies in the context of computer vision, including exemplar-based image super resolution, robust visual tracking and video-based action recognition. The project will have significant impacts: (1) it will largely overcome the challenge to the matching of uncertain visual data. (2) it will largely benefit the vision applications whose performance is largely influenced by the matching results. (3)the adaptive learning methodology and the unified framework developed in this project is generally applicabe, and can be applied to a large variety of other engineering challenges.

视觉匹配是计算机视觉和视频分析中一个非常有挑战性的基础研究问题。其研究的难点在于高维计算机视觉数据中的不确定噪声对匹配效果的影响，从高层语义到低层视觉特征之间的语义鸿沟对匹配造成的不确定性，以及视觉目标物体自身的复杂性和不完备的图像观测造成的匹配的不确定性。这些难点使得传统的匹配方法不能很好地处理这样的复杂视觉问题。本课题旨在提出一种新颖的、统一的自适应视觉匹配模型来克服这一挑战。我们计划通过系统、严谨的分析来研究自适应视觉匹配的统一数学模型，分析在不同给定数据标注下的自适应视觉匹配研究方法，分析算法复杂度和收敛性能，研究自主定阶问题，并开发算法实验及验证平台。我们拟在多种计算机视觉应用中，挑选图像超分辨率重构，视频跟踪以及视频运动识别作为本项目的研究实例。研究成果将提供符合计算机视觉数据特点的自适应视觉匹配的统一理论及算法，促进计算机视觉领域中以匹配算法为核心的多种应用的发展。

本课题研究自适应匹配学习算法的理论模型，并讨论该理论模型在计算机视觉算法中的应用。本课题的研究重点是在统一理论模型的基础之上根据数据的不同，着重研究三种具体方法, 包括:基于已知数据集和对应类别标注的自适应匹配算法;已知两个数据集和其对应关系基础上的自适应匹配算法, 以及基于一个已知数据集和其中元素的弱标注的自适应匹配算法。并在这三种具体方法的基础之上,研究自适应匹配算法的算法性能,包括算法复杂度分析、算法收敛性分析以及算法维度的自主确定问题。此外,针对计算机视觉中的应用实例, 本课题着重研究了自适应匹配算法在图像超分辨率重构、视频跟踪以及在视频运动模式识别中的应用。