基于子空间的稀疏度量学习

Metric learning is the research focus of pattern recognition and machine learning. Because of today’s big data, metric faces with unprecedented challenge. High dimensional data is noisy and redundant. To overcome this difficulty, an effective way is to learn a sparse metric. So this program will exploit sparse regularization and co-clustering graph cut as the mathematical tools, study sparse metric based on subspace, and the metric will be used for classification, clustering and retrieval tasks. This project focuses on the following aspects: .(i) constructing the robust sparse feature selection model;.(ii) exploring the discriminating ability and expressing ability of the selected feature; .(iii) constructing subspace according to the discriminating ability and expressing ability of selected feature. .Different from the traditional sparse metric learning methods, this program first will establish a sparse robust feature selection model, and the sparse subspace will be constructed based on the discriminating ability and expressing ability of the selected feature; and at last the metric driven by tasks will be learned in the sparse subspace. The dimension is reduced, and the relationship of the selected feature will be exploited in the learned metric.

度量学习是模式识别和机器学习中的研究热点。当今的大数据给度量学习带来了前所未有的挑战。由于高维空间的数据含有较多的噪音以及冗余信息，一个有效的解决办法是学习稀疏的度量。因此本项目以稀疏正则化，双聚类图分割为主要数学工具，致力于研究基于子空间的稀疏度量，用于机器学习和模式识别中的分类、聚类以及检索。本项目的重点研究内容包括：(i)建立稳健的稀疏特征选择模型; (ii)探索不同特征的判别表达能力；(iii)依据特征的判别表达能力构建稀疏子空间。不同于传统的稀疏度量学习，本项目的特色之处在于：通过建立稳健的特征选择模型，利用特征的判别表达能力，构建稀疏子空间，在稀疏子空间中学习与任务相关的度量。由此得到的度量不仅维数较低，而且还可以探索判别特征之间的相互作用关系。

度量学习是模式识别和机器学习中的基础研究。许多算法的效果都依赖于相应度量，本项目研究了基于子空间的稀疏度量学习算法。首先，基于L1范数，通过加入正则项，提出了稀疏的半监督学习算法。在子空间方面，通过聚类随机森林，探索了样本在潜变量子空间的关系，通过保持这种关系，提出了基于潜变量子空间的度量学习算法。本项目还研究了样本的稀疏表示，并将这种表示的稀疏相似度应用于增强算法，提出了基于稀疏表示相似度的增强学习算法。在图模型相似度方面，我们通过研究样本图模型的判别准则，根据图模型的判别准则对图模型相似度进行加权，提出了基于判别图模型的相似度增强算法。将我们提出的度量学习算法结合相应的分类或聚类算法，在公共数据集上与其他方法做了比较实验，结果表明，我们的方法性能更优一些。说明我们的方法可以学习到判别的特征，也说明稀疏的特征具有判别性。