低秩距离学习及其应用

Recently, the distance/metric learning between data points has become a hot research topic in the area of pattern recognition and machine learning. The current methods to this problem aim to learn a better distance metric, i.e. the distance parameter matrix, between data points by using the pair-wise constraints, but have not taken the low rank into consideration. In reality, there exists the low-rank property between data points, i.e., the data points depend on each other. In this project, we wish to consider such low-rank property in the process of the distance/metric learning and carry out the research of low-rank distance learning. According to the low-rank property of the data, we will investigate the new low-rank distance/metric learning framework, propose new low-rank distance learning models based on matrix nuclear norm minimization, and we will also introduce the locality preserving learning into the low-rank distance learning to ensure the transformed data to have the property to preserve the locality property, so as to further extend the low-rank distance learning model; we will propose a set of faster solving algorithms for the low-rank distance learning model, based on the proximal gradient method, the singular value thresholding method and the alternating direction method. we will apply the proposed low-rank distance learning model to the areas, including content based image retrieval, image classification and pair-wise constraint propagation. This project will try to achieve innovative progresses in the theory of low-rank distance learning model, the solving algorithms and their applications.

近年来，数据点之间的距离/度量学习已成为模式识别和机器学习领域的一个研究热点。现有的距离/度量学习方法主要是利用数据点之间的成对约束关系来学习数据点之间的一个良好的距离度量，即距离参数矩阵，没有考虑低秩性。实际问题中的数据通常具有低秩特征，即数据点之间相互依存。本项目在数据点之间的距离/度量学习的过程中考虑这种低秩特性，开展低秩距离学习的研究。针对数据低秩的特性，研究新的低秩距离学习框架，提出基于矩阵核范数最小化的低秩距离学习模型，并将保结构学习特性引入到距离学习中，使得经过距离变换的数据点在新的空间具有保结构的性质，进一步扩展低秩距离学习理论；研究低秩距离学习优化问题的快速求解算法，提出基于近似梯度、奇异值阈值化及交替方向的快速算法；将提出的低秩距离学习方法应用于基于内容的图像检索、图像分类识别以及成对约束传递问题中。力争在低秩距离学习理论、算法和应用方面取得创新性成果。

本项目首先研究了基于矩阵分解降维的距离学习，因为距离学习可视为一种投影降维方法。提出了多种新颖的非负矩阵分解方法，包括： 一种新的有约束的非负矩阵分解，同时利用数据之间潜在的几何结构和判别信息；一种新的半监督非负矩阵分解算法，分解过程中保持了数据的局部特征；一种新颖的感知保持投影方法，可以保持感知信息。一种非负谱聚类方法；一种局部一致的多标签线性鉴别分析等。.其次，研究了基于哈希和量化的Hamming距离学习，提出了多种新颖算法。包括：一种自然监督的哈希算法，性能超越了已有最好方法；一种在线自组织哈希，可实现在线学习；一种保局哈希方法，可在哈希过程中尽量保持数据局部几何结构；一种结合先验鉴别信息的保局鉴别哈希；一种局部线性谱哈希方法，利用不相邻的数据点改善哈希性能；一种新的向量量化框架—广义残差量化方法等。.再次，研究了相似性距离度量学习。提出了如下方法：一种自适应相似矩阵的学习模型及其优化方法；一种利用成对约束半监督信息学习出新的相似性度量的方法；一种通过同时最小化局部重构误差和局部约束误差学出习数据点的相似性矩阵方法；一个新颖的成对约束概念分解方法；一种正交最优反预测算法等。.最后，研究了提出方法在计算机视觉等领域的应用。包括：一种基于稀疏非负矩阵分解的空间金字塔匹配模型的人脸识别方法；一种结合无标签的辅助文本的图像分类方法；基于视频的动作识别的几种有效算法；基于深度神经网络的在线展示广告点击率预测方法；社会网络中的社区检测方法等。.项目共发表学术论文30多篇，包括Pattern Recognition， Neural Networks等国际期刊SCI检索论文8篇，国际顶级会议论文11篇（CCF A类5篇，CCF B类6篇）。毕业博士生5人，毕业硕士生14人。完成了研究目标。