结构化图学习理论与方法研究

Similarity matrix leaning based on graph is called optimal graph learning, which is one of the most important topics in machine learning. Some exploratory researches have been carried out recently. There are still some problems as follows. For the construction of learning model, the information of connected components does not play an important role in the process of the similarity matrix construction. Moreover, the similarity matrix learning model is separated from unsupervised and semi-supervised learning tasks. To this end, this project intends to embed the structure of the connected components of the graph into the structured modeling method, and construct the structured similarity matrix learning model to improve the learning ability of the model. At the same time, the structured similarity matrix is combined with unsupervised, semi-supervised and multi-view learning. With the rapid development of machine learning in many big data applications, there are millions of samples in data set, and the similarity matrix learning has high calculation complexity, which makes it hard to be utilized. According to the characteristics of the big data, we will construct a fast structured similarity matrix learning model, and extend the modeling method to improve the performance of the learning algorithm.

图的相似度矩阵学习，也称为最优图学习，是机器学习中的一个前沿性课题。国际学术界已开展了一些探索性研究，但是存在以下问题：在学习模型构建方面，没有充分挖掘图的连通分量信息在相似度矩阵生成过程中的引导作用。同时，相似度矩阵学习模型与无监督、半监督学习任务是分离的。为此，本项目拟研究通过将图的连通分量信息引入结构化建模方法，构建“结构化”相似度矩阵学习模型，并借此来提高模型的学习能力。同时，“结构化”相似度矩阵学习分别联合无监督、半监督和多视图学习建立统一学习模型。在大数据时代，随着机器学习在大数据诸多应用中的快速发展，需要处理的样本数量常常高达百万级别，而“结构化”相似度矩阵学习的计算复杂度非常高，严重影响其在大数据上的应用。针对数据的大规模特点，构造快速“结构化”相似度矩阵学习模型，扩展建模方法，提高学习算法的性能，对实际应用显得十分必要。

本项目立足于结构化模型设计总体思路，设计了多种结构化图学习聚类、多视角学习、矩阵填充以及降维模型，解决了现有方法对结构化信息不敏感以及模型优化方便所存在的问题。具体地，针对现有模型存在的多视角谱嵌入差异性挖掘不足，谱嵌入内部结构区分度缺失等问题，本项目设计了一种双层权重学习模块。该模块通过双层学习机制，首先对单视角谱嵌入内部的特征差异性进行了有效挖掘；针对现有的鲁棒矩阵补全模型不能解决数据中存在异常样本的问题，本项目设计了多种基于L2,1范数的鲁棒矩阵补全方法来逼近不完备矩阵中的低秩部分。利用谱聚类与k均值聚类算法之间的关系，借助对称非负矩阵分解技术，设计了多种多视角聚类学习框架等。此外，本项目对所设计模型在多个多视角基准图像数据集上进行了聚类性能的评估，实验结果显示，所设计的模型在多个基准数据集上均获得的聚类性能的提升。总之，从理论角度，所设计模型首次数据中的结构化信息进行了挖掘，对多视角聚类领域后续模型设计具有一定的启发意义。在模型优化角度，本项目设计了基于重复加权法的多种优化方法，解决了模型陷入局部最优的难题。在应用角度，所设计模型虽然无参，但依然在多个基准数据集上取得了聚类性能的提升，这也反应了多参模型不是追求性能的唯一途径，合理的无参化模型设计同样可以取得良好的性能。