排序学习中的对象集结构分析和等序关系输出研究

Learning to rank (LTR) is an active research area in machine learning. It can be applied in many applications including Web search, image and video retrieval. Current pairwise and listwise LTR algorithms ignore the strucutre of objects in the preference feature space. Furthermore, current ranking models cannot output tie relationships between objects. This project aims to investigate the key issues.in the pairwise and listwise LTR in the following aspects. (1) Metric learning for LTR. How to achieve an effective distance metric in the preference feature space. (2) The analysis of the structure of training objects. How to explore the main structure and outliers. (3) Multi-task LTR. How to train a set of linear models to fir a non-linear model. (4) LTR by considering tie output. This project will utilizes thoeries and methods from multiple research areas (including classification, clustering, multi-task learning, metric learning, learning with positive and unlabeled data) to promote the research on pairwise and listwise LTR.

排序学习是近年来机器学习领域一个较为活跃的研究分支，其能够广泛应用于Web搜索、图像与视频检索上。现有的样本对与列表级排序学习算法极少考虑排序对象在空间的结构（分布）。此外，现有的排序学习算法得到的模型基本不具备等序关系输出的能力，这与很多应用中存在着大量的等序对象的实际情况是不相符的。本项目针对（样本对与列表级）排序学习的研究现状，拟从四个方面来深入研究排序学习的关键问题：（1）面向对象排序的度量学习，要得到偏好特征空间中更加有效的距离度量。（2）排序对象集的空间结构分析，要研究对象在偏好特征空间中的主要结构与离群模式。（3）多任务排序学习，要学习多个线性模型来逼近非线性模型。（4）考虑等序关系输出的排序学习。项目要借鉴并利用分类、聚类、多任务学习、度量学习、一类分类问题等其它机器学习分支的力量与方法，在排序学习上形成系统性的创新，进一步完善并推动排序学习的理论发展与实际学习性能。

排序学习是机器学习的一个重要研究分支，广泛应用于信息检索、自然语言处理、计算机视觉等领域的应用上。项目组在国家自然科学基金项目的支持下，针对现有的排序学习基本上忽略了等序关系以及较少分析排序样本序列内部结构的现状，主要研究了面向排序的度量学习、排序对象集的空间结构分析、多任务排序学习以及考虑等序关系输出的排序学习等四方面的内容，并以网页表观挖掘为应用场景。. 经过四年的研究，项目组先后提出了下列主要算法（1）基于Softmax损失、基于欧式距离以及基于Bradley-Terry的损失的考虑等序关系的新排序学习算法。实验发现第三张损失函数作为排序模型时都要明显的优于其他两个损失函数；（2）基于迭代分而治之思想的非线性排序算法。在排序学习里面，一种非线性模型的构造方式就是对数据进行划分并利用多个分段线性排序模型来构建一个近似的非线性排序模型。这种方法受限于第一阶段的数据划分。为此我们将数据划分与多（任务）线性排序模型学习融于一个整体框架进行学习，可以得到更为鲁棒的结果；（3）面向排序列表的度量学习与无监督分析。我们基于一个大概率成立的假定：一个实例中两个对象之间的位置间隔越小，则这两个对象属于同一集群的可能性就越高。基于这个假定构造了相应的面向列表样本的度量学习；基于学习的度量来进行无监督的结构分析；（4）基于上述研究的思想，提出了分段排序+整体finetune的新的Pagerank算法；（5）以网页表观的颜色评价为例，利用迁移学习来构建排序打分模型。. 无论是从研究内容上还是量化指标上，目前研究目标均已完成。特别是在包括IEEE Transactions on Knowledge and Data Engineering在内的领域权威期刊和知名会议上发表近10篇，在网页表观挖掘上取得了较好的学术成果。