学习理论中相似度量学习及相关课题的研究

In the standard framework of learning theory, the loss function is based on a single example. Learning algorithms associated with such loss functions have been widely studied in the literature of learning theory. In this project we study learning in the context of pairwise loss functions, that depend on pairs of examples, by methods from approximation theory. We mainly focus on the ranking type learning and similarity metric learning. With the arrival of the era of big data, online algorithms have attracted increasing attention due to its low computational complexity. In this project, we shall first consider the online ranking type learning algorithms, the consistency and learning rates will be investigated. In machine learning, a proper choice of a metric has crucial effects on the performance of learning algorithms. So far, only the generalization ability of similarity metric learning algorithms is developed. One of the goals of this project is to establish the learning theory framework for the similarity metric learning, that is, to estimate the approximation error and sample error of the learning algorithms. Finally, motivated by the fact that linear metrics are unable to capture nonlinear structures in the data, we kernelize the linear similarity metric in terms of empirical features, and further investigate the theoretical links between the consistency of the learned metric and its performance in target tasks.

在学习理论的标准框架中，损失函数一般是基于单个样本的。基于单样本损失函数的学习算法在学习理论中已有广泛的研究，本项目将利用逼近论的方法对基于双样本损失函数的学习算法进行深入研究，主要考虑排序型在线学习算法和相似度量学习算法。随着大数据时代的到来，在线算法因其低计算量而受到越来越多人的关注，本项目首先将研究排序型在线学习算法，对算法的相容性和学习率进行分析。其次，在机器学习中，选择一个合适的度量对学习任务有很重要的作用。目前有关相似度量学习的理论研究仅限于算法的泛化能力方面。本项目旨在完善相似度量学习的理论框架，即给出算法完整的误差分析，包括样本误差和逼近误差的估计。最后，因在现实应用中，数据中的非线性结构往往不能用线性度量来刻画，本项目拟利用经验特征对线性度量非线性化，并进一步研究相似度量学习与目标任务之间的理论联系。

在机器学习中，选择一个合适的度量对学习任务有着至关重要的作用。本项目首先研究了相似度量学习算法的泛化能力，提出了一种新的分析方法能估计带一般正则化项的相似度量学习算法的泛化界，并进一步研究相似度量学习与目标任务之间的理论联系。另外，分析和处理来自科技各个领域的大数据是一个重要且具有挑战性的课题。分布式学习和在线学习是处理大数据的强有力工具并成为学习理论中热点课题。本项目的另一个研究内容主要是对分布式学习和排序型在线学习这两类算法进行理论分析。我们首先研究了再生核希尔伯特空间中各种正则化方法所产生的分布式学习算法，包括谱算法、系数正则化算法、最小二乘正则化偏差修正算法和多罚学习算法（包含流形正则化学习算法）等，用基于积分算子的新工具以及逼近论思想给出误差界和最优学习率。最后，我们研究了基于双样本损失函数的排序型在线学习算法。本项目的研究为算法在实际应用中的表现提供了理论依据并为设计新的算法提供线索。