基于鲁棒几何保持的迁移度量学习研究

Metric learning has received much attention in machine learning community in recent years. It improves the performances of algorithms by learning an appropriate distance metric and has been successfully used in a lot of real applications. Unfortunately, traditional metric learning methods assume the same distributions of training samples and test samples, which is difficult to satisfy in many real problems. If most training samples exist in another domain with a different sample distribution, the results are seldom satisfactory, which limits the application of metric learning. This project proposes a framework of transferred metric learning to solve this problem, which makes traditional metric learning methods capable to improve its performance by transferring knowledge from other domains. This project systematically researches on the theory, methodology, and application of transferred metric learning. The features of this project are as follows. 1) The geometry preserving transferred metric learning algorithm is proposed, which preserves the relative distances of samples between domains to improve the performances of algorithms in the target domain. The effectiveness of the algorithm is proved by rigorous analysis. 2) The robust metric learning is introduced, which uses only selected samples to prevent inaccurate transfer from the source domain. This project extends transfer learning to the scope of metric learning to make it capable to utilize knowledge from other domains to obtain better performances with less training samples required. It is significant in both the theoretical and applicative perspectives.

度量学习近年来在机器学习中受到了广泛的关注，它通过学习适当的距离度量来有效提高学习算法的性能，在许多实际问题中得到了成功的应用。然而传统度量学习方法假定训练数据与预测数据具有相同的分布，该条件在很多实际问题中难以满足，当大量训练数据存在于另一个分布不同的域中时，传统方法往往难以给出满意的结果，限制了其适用范围。为解决该问题，本项目提出度量学习的迁移学习框架，使传统的度量学习算法具有从其他域中迁移知识的能力以提高其性能，并从理论、方法到应用展开系统研究。本项目的特点有：1)提出几何保持迁移度量学习算法，在域间保持样本相对距离关系以提高目标域的学习性能，并通过严格的分析证明算法的有效性；2)引入鲁棒度量学习的思想，有选择性地使用源域样本以避免不匹配样本的干扰。本项目将迁移学习扩展到度量学习，使其在学习过程中能够利用其它域中知识，减少训练所需样本数，提高算法性能，在理论和应用方面都具有重要意义。

本项目主要针对迁移度量学习问题展开研究，主要研究内容围绕迁移学习和度量学习，在相关的问题上充分展开研究，包括迁移度量学习的方法文献调研和分析、迁移框架和模型设计、关系挖掘、优化算法的设计、迁移方法在计算机视觉中的应用等。研究取得的重要结果包括：(1)提出基于低秩表示的无监督迁移学习方法，通过学习领域不变的词典，在捕捉源域和目标域之间内部关联的同时，消除数据中噪声和异常信息，从而实现信息在两域之间的迁移；(2)提出基于关系发现的慢特征分析，学习方法同时进行特征的学习和图的构造，可以高精度的挖掘可靠类内关系，同时获得与现有最优方法性能类似的聚类性能；(3)提出面向二维标记马尔可夫随机场优化的快速标记坐标下降，它在优化的每一步优化中交替沿水平、垂直、对角方向的维度进行遍历优化，从而大大减少了优化所需遍历的标记数量；(4)提出一种基于半监督迁移学习和监控图像的定位识别方法，使得源域中少量的标记样本与目标域中的无标记样本可以被联合使用，直接学习一个跨领域的模型，大大提高了学习的性能，并且用于基于监控的手机图像定位识别任务，取得很好的效果，同时建立发布一个跨域数据库，用于测试验证源域监督样本少的跨领域图像识别算法；(5)提出自步类别感知无监督迁移学习方法，使得在目标域没有标记样本的条件下，完成类别相关的领域不变特征学习，从而提高了无监督迁移特征学习的性能；(6)完成一篇多任务度量学习综述，系统地总结、归类、分析了当前的多任务度量学习方法，对迁移度量学习算法的设计有着重要的启发和指导作用。这些工作分别在迁移学习理论与方法、度量学习方法、优化算法、特殊条件下的迁移学习等方面做出了相应的贡献，并且在计算机视觉问题中得到很好的应用和验证。.基于该项目的资助，总共发表国际会议文章4篇，国际期刊文章2篇，在国际学术会议上进行分组报告1次，墙报展示3次，在国内会议上做特邀报告1次，培养毕业博士生2名、硕士生1名。