流形上的低秩表示及其在图像视频聚类中的应用

Image and video data is the main body of big data, and its information mining is the core and the most difficult task of big data analysis and processing. At the same time, it also has great application requirements. For disordered, massive and unstructured image and video data, how to find the valuable information hidden in the data and obtain the data labels and other semantic information, is a challenging problem faced by the current information technology. To this end, the research breakthrough of clustering analysis theory and method is considered a feasible way to solve this problem. However, the traditional clustering analysis methods often encounter the "curse of dimensionality" when dealing with high dimensional data such as image and video. In addition, the potential nonlinear manifold structure under image and video data is usually not described and utilized in the current methods. For the high dimension data of image and video, this project proposes to use manifold to represent the nonlinear structure under the data, and to establish a low rank representation model in manifold space to realize data clustering. In particular, this research studies on the manifold representation methods for different image and video data; explores the manifold nature, measurement and calculation; researches and establishes the low rank representation model in manifold space; solves the optimization problem of the low rank representation model in manifold space; and implements the low rank subspace clustering algorithm in manifold space. For the purpose, to make a breakthrough the traditional clustering technology bottleneck in high dimensional data clustering, we do clustering experiments on actual image and video data set with large scale and verify the efficiency of the proposed method.

图像视频数据占大数据的主体，其信息挖掘是大数据分析与处理最核心和最困难的任务，同时也具有重大的应用需求。对于无序、海量和非结构化的图像视频大数据，如何发现隐藏在数据中的有价值信息，获取数据的类别等语义信息，是目前信息技术面临的一项挑战性课题。而聚类分析理论和方法的突破可以为这一问题的解决提供可行的途径。传统的聚类分析方法在处理图像视频等高维数据时往往会遭遇“维数灾难”，并且不能描述和利用数据潜在的非线性流形结构。针对图像视频等高维数据，本项目提出采用流形表示数据内在的非线性结构，并在流形空间上建立低秩表示模型实现数据聚类。重点研究不同图像视频数据的流形表示方法，探索流形空间的性质、度量和运算，研究和建立流形空间上的低秩表示模型，解决流形上低秩表示模型的优化问题，实现流形上的低秩子空间聚类算法。以实际较大规模图像视频数据集的聚类为应用目标，突破传统聚类方法在高维数据聚类方面的技术瓶颈。

随着互联网、物联网和5G移动通信等技术蓬勃发展，以用户为中心的数据生产模式导致海量大数据时刻涌现，其中图像视频数据占主体部分。面对海量、多源、高维、非线性、非结构化、弱标注的图像视频大数据，如何进行有效的表征和分析是信息领域最具挑战性的课题之一。无监督聚类方法是大数据处理分析的有效手段，但对于高维图像视频数据，传统欧式空间的聚类方法难以表示其复杂的数据结构，因此探索其非线性结构的有效表示和无监督学习方法成为了图像视频大数据处理的关键。近年来，流形表示理论在图像视频高维数据表示方面取得了很大进展，但现有的方法没有充分发掘信号的稀疏和低秩特性，并且对高维多源数据的融合问题也缺乏深入探讨。.针对上述挑战，本项目围绕图像视频的无监督学习问题，深入研究了图像视频数据的流形表示方法，首次建立了流形上低秩表示模型的一般框架，提出了不同流形上的低秩表示模型，解决了模型优化的难题，并在多个数据集上实现了高性能的聚类应用。项目取得的主要理论成果包括：.（1）针对图像视频高维数据的有效表征问题，提出了Grassmann流形的不同表示及度量方法，建立了Grassmann流形上的低秩表示模型，并解决了模型涉及的复杂优化问题。.（2）对于图像的SPD流形表示，提出了基于Log-Euclidean度量的SPD流形上的低秩表示模型，实现了图像数据的快速、高精度聚类。.（3）对于多视多源视频数据，提出了乘积流形的数据表示及其低秩表示模型，并通过度量不同流形的重要性，提出了一种数据驱动的乘积流形融合框架，实现了自适应融合表示和聚类。.项目研究取得了一系列创新性成果和知识产权，共发表学术论文23篇，其中SCI、EI检索论文21篇，IEEE/ACM 汇刊论文11篇，CCF A类会议论文4篇；授权国家发明专利1项，申请3项；获得2020年度吴文俊人工智能科学技术奖科技进步奖一等奖1项。