基于非负矩阵分解的图像特征表示及语义理解关键技术研究

The existence of a semantic gap between image low-level and high-level semantic is the major obstacle of image retrieval technology. For more efficient use of images, the core questions to bridge this gap effectively is how to effective represent image visual feature. Nonnegative matrix factorization (NMF) as one of effective nonlinear reduction tools, in recent years has received much more attentions in the computer vision field. However, there are a few challenging key issues unresolved so far. To tackle these issues, the aim of this project is: (1) To analysis the theory and method of NMF in-depth; (2) To explore various constraints for the impact on representation performance of image feature based on NMF; (3) To focus on how to enhance NMF performance via melting or integrating them; (4) To exploit the image classification method via the fusion of features from NMF; (5) To build a unified analysis framework by incorporating image feature representation step based on NMF and semantic model learning step. At last, image low-level features with sparseness and discrimination properties can be obtained so as to improve the image understanding precision. For improving the accuracies of image classification and subsequently realizing accurate search of images, this research has the most important theoretical significance and application value.

图像底层视觉特征与高层语义之间的“语义鸿沟”的存在，成为图像检索领域发展的瓶颈。提高图像内容的利用效率，缩小语义鸿沟，核心问题是如何有效地表示图像的视觉特征。非负矩阵分解（NMF）作为一种有效的非线性降维工具，近年来在计算机视觉领域获得了广泛关注和深入研究。然而，它仍然存在着若干焏需解决的若干关键技术。本课题拟通过深入分析NMF的基本原理与实现方法，探讨各种约束（稀疏、流形及判别）对于基于NMF的图像特征表示性能的影响，研究如何通过综合多种约束增强NMF的特征表示能力，研究基于NMF特征融合的图像分类算法，构建基于NMF的图像特征表示与语义模型学习的统一分析框架，最终获得具有稀疏性和判别性的图像低维特征，从而提高图像内容的语义理解准确率。本项目研究对于提升图像的分类性能，实现图像的精准搜索，具有重要的理论意义和实际应用价值。

图像特征表示和图像语义理解是管理和检索图像的关键技术。图像特征表示，是实现对图像视觉内容的合理描述；图像语义理解，是利用机器学习构建从视觉特征到高层语义之间的映射。图像视觉特征与高层语义之间存在着“语义鸿沟”，缩小语义鸿沟的核心问题是如何有效地表示图像的视觉特征。在图像特征维数约简的诸多算法中，NMF因其具有纯加性、良好的数据描述性以及“局部构成整体”的直观物理意义，获得了大量研究和广泛应用。然而，它仍存在着若干焏需解决的关键技术。这些关键技术，直接影响着基于NMF的图像特征表示及图像语义理解性能。.本课题开展基于NMF的图像特征表示及语义理解关键技术研究，深入分析了基于NMF的图像特征表示原理，探讨了各种约束对于NMF特征表示性能的影响，研究了如何通过综合多种约束增强NMF的特征表示能力，研究了基于NMF特征融合的图像分类算法，构建了基于NMF的图像特征表示与语义模型学习的统一分析框架，最终获得了具有稀疏性和判别性的图像低维特征，提高了图像内容的语义理解准确率。本项目研究对于提升图像的分类性能，实现图像的精准搜索，具有重要的理论意义和实际应用价值。