面向多媒体排序学习的维数约简

Due to the high feature dimensionality of multimedia data, learning to rank approaches are prone to problems such as "curse of dimensionality", which is a common phenomenon occurred in machine learning algorithms and will deteriorate the generalization ability and the efficiency seriously. To efficiently overcome these problems in learning to rank system, current methods generally adopt the conventional dimensionality reduction strategy. However, the inputs of this kind of strategy are only the high-dimensional data and their labels, leaving the ranking information such as the relevance score and the priority aside. Therefore, the current dimensionality reduction strategy cannot achieve the best performance. To solve this kind of critical problem, the research project proposes a novel technology named as "Ranking Dimensionality Reduction", which can not only take the ranking information as input, but also make full use of the unique learning mechnism in learning to rank methods. Specifically, the research first lays emphasis on the effective methods of replacing label information with ranking information as the input of dimensionality redcution approaches. Further, the research inverstigates the effective utilization of ranking information together with the unique rank learning mechnism. And then, as an extended research, the way of incorporating semi-supervised learning and transfer learning methods will be explored. Finally, the advanced nature and the practical value of the algorithm will be verified on the applications of multimedia retreival, personal recommendation, and so on. The implementation of this research project will enrich and develop the basic theories of both learning to rank and dimensionality reduction, as well as promoting the development of related industries, such as multimedia search, mobile internet.

由于多媒体数据特征维数很高，使得排序学习与其他学习算法一样受维数灾难等问题的影响，致使算法的泛化能力和效率严重受限。为了有效克服排序学习中的这些问题，现有方法通常直接使用常规的维数约简策略。但其输入仅是高维数据及类别标签，不能充分利用训练数据的等级、顺序等重要的排序信息作为算法的输入，因而不能达到最优的维数约简效果。为了解决这一严重问题，本项目提出了将排序信息作为输入并充分利用排序学习机制的新型维数约简技术（简称"排序维数约简"）。首先重点研究有效利用排序信息替代类别标签进行维数约简的方法；接着进一步结合排序学习的独特学习机制研究相应维数约简方法；然后作为拓展研究，探索与半监督学习、迁移学习等方法相结合的途径与方法；最后结合多媒体检索、个性化推荐等实际应用验证算法的先进性和实用性。本项目的实施将丰富和完善排序学习和维数约简的基础理论研究，推动多媒体搜索、移动互联网等相关产业的发展。

排序是多媒体信息检索和分析中的一个重要环节，其中一个重要挑战是如何有效地对对高维的视觉特征进行分析和利用。维数约简是解决上述问题的重要途径，然而现有方法主要是利用类别信息进行降维，并不能够对排序问题达到最优效果。本项目旨在研究将排序信息作为算法的输入并充分利用排序学习独特学习机制的排序维数约简技术，目的是准确地提取高维多媒体数据的内蕴信息，提升数据处理速度和排序学习的泛化能力。项目着重研究了排序信息的有效利用机制，提出了相关约束和不相关约束的概念，并基于此提出了一种通过在不同排序等级内部及之间构建图嵌入的全局关系和局部联系的方法，成功地将图嵌入维数约简模型转换成排序维数约简模型，并在图像搜索重排序应用中取得了很好的效果。该研究成果发表在IEEE-TNNLS上，为2016年ESI高引论文。还提出了一种基于相关图和不相关图的Fisher判别方法，该方法创新性地将数据对之间相关性和不相关性引入到相关图和不相关图中，并利用Fisher判别为目标函数，从而不仅保持了数据结构信息还保持了数据间成对的关联关系。从流形学习近邻图构造角度，提出了一种有效的基于相关局部信息和流形学习的判别分析算法，该算法分析了类内和类间成对限制关系，将排序相关等级信息和流形信息引入其中，在维数约间的过程中实现了流形信息和排序信息的保持。项目还研究了排序学习机制的利用途径，提出了一种基于超球的相关保持投影方法。该方法依据数据基于超球分布的假设，利用边界最大化思想，在保持数据的流形分布和相关关系的前提下，将原始数据映射到超球空间，从而实现了数据的特征变换。并进一步依据距离超球球心的距离，提出了一种新的排序方法。项目还探索了有效利用无标签数据的方法，提出了一种有效的半监督排序维数约简方法，该方法创新性地将排序信息引入到局部保持投影方法中，从而将无监督的局部保持投影方法提升为半监督的排序维数约简方法。还通过引入皮尔逊相关系数在流形图构建过程中进一步考虑了样本之间的相关性关系。还提出了一种有效利用排序集合内部数据对之间的排序关系以及集合间数据对之间的排序关系的半监督排序维数约简方法。所提方法在图像重排序应用中取得了较好的性能。此外还探索了迁移学习思想的利用、视觉特征的有效表示和图像分类等相关问题。共发表论文成果共15篇，其中9篇SCI检索论文（1篇1区，6篇2区，2篇3区）；授权发明专利6项，受理发明专利8项。