基于稀疏松弛匹配与图聚类分析的共同视觉模式挖掘方法与应用研究

Common visual patterns (CVP) discovery is to identify all the visual patterns/parts which usually have similar visual content and coherent spatial relationship from several images. It can be regarded as a high-level description and analysis for image visual content and has been widely used in image understanding and retrieval area. However, due to complex imaging conditions, different scenes and various geometric transformations, et al., CVP discovery is a challenge problem. Our aim in this project is to propose a novel effective CVP discovery approach based on sparse optimization technique and graph clustering method. The main content of this project has three aspects: (1) a novel sparse relaxation matching model and algorithm has been proposed to obtain the desired feature matching results for our CVP task. (2) By adapting graph clustering, we propose a method to automatically identify and generate the CVP naturally and thus achieve CVP discovery effectively. (3) Using the proposed CVP discovery method, we provide an effective way to re-identify the video objects in different scenes. The study of this project will provide some more basis techniques for image/video analysis and understanding.

共同视觉模式挖掘是指从多幅图像中自动检测并提取在视觉内容上一致、空间布局上相似的部分。它是从更高层面上对图像的内容进行描述和分析，在图像理解和检索等系统中有着广泛的应用。然而，由于不同图像的成像条件复杂性、场景多样化以及存在各种几何形变等因素的干扰，图像间的共同模式挖掘一直以来都是一个具有挑战性的问题。本项目将基于现代稀疏优化理论技术，并结合图聚类分析提出一种高效的共同模式挖掘新方法。具体研究内容包括：1）基于稀疏优化理论技术，研究提出稀疏松弛匹配新模型与算法，实现图像特征之间的高效匹配，为后续共同模式的挖掘提供基础；2）基于图聚类分析，研究提出一种共同模式的鉴别与生成方法，实现图像间共同模式的有效挖掘；3）利用所提出的共同模式挖掘理论与方法，并通过时空约束建模实现跨场景下视频目标的再识别。通过本项目的研究可望为进一步实现该技术在图像、视频分析与理解等领域中的应用提供基础。

图像视频中的共同视觉模式挖掘与分析是指从多幅图像/视频中自动检测并提取在视觉内容上一致、空间布局上相似的部分。它在图像理解和检索等系统中有着广泛的应用。本项目基于现代稀疏松弛与优化理论，并结合结构图学习与分析技术研究了一系列高效的共同模式挖掘新方法。主要研究内容包括：1）研究基于稀疏优化与松弛理论的图像匹配新模型与算法；2）研究基于结构图学习与聚类分析方法的共同视觉模式的挖掘与分析；3）利用所提出的视觉模式挖掘与分析方法，实现跨场景下视频目标的再识别。针对以上研究内容，本项目取得了如下主要成果：1）提出了一系列特征匹配问题的稀疏松弛模型及其求解算法，包括非负正交松弛匹配、离散约束保持匹配、组内稀疏松弛匹配以及乘性更新匹配等算法；2）提出了一系列基于局部特征表示与结构图半监督、无监督学习模型的视觉模式挖掘与分析新方法，并基于此实现了跨场景下目标重识别、协同分割以及目标跟踪等任务。3）提出了图扩散-嵌入神经网络模型及其训练算法，并应用于图像半监督分类。视觉匹配与模式挖掘是计算机视觉中的基本问题。它的有效解决为诸多计算机视觉问题提供重要技术基础。本项目的研究成果为进一步实现视觉匹配与模式挖掘技术在图像、视频分析与理解等领域中的应用提供模型和算法基础，具有一定的理论和应用价值。