面向多媒体数据排序的深度学习研究

It is well-known that we are now surrounded with multimedia data that are always high-dimensional and noisy. This leads the current literature on learning to rank impotent. To cope with this situation, deep learning is applied. However, the existing literature only considers the data samples and class labels in deep learning and fails to consider the ranking constraints existing in the data samples, which explains why the existing methods are still not effective enough. We propose a new theory of deep learning targeted to learning to rank, called deep learning to rank. We explicitly exploit the ranking constraints existing in the data samples to develop effective cross-media learning to rank methods, and further develop the theory by incorporating semi-supervised learning, transfer learning, and manifold learning to deliver the complete theory on deep learning to rank. Finally, we shall demonstrate the promise and effectiveness of this theory in the applications of multimedia indexing and retrieval, multimedia question answering, and individualized recommendation. The success of this project shall further promote the technology advancement in the related industries and business such as multimedia search and mobile Internet.

由于多媒体数据特征维数很高噪声大，使得面向多媒体的排序学习受到了很多制约，严重影响算法的泛化能力和效率。为了提高算法鲁棒性和实用性，现有方法通常通过深度学习进行表征学习。但现有的深度学习方法大多仅利用了数据样本和类别标签，不能充分利用训练数据间的相关度等重要的排序信息，因而不能达到面向排序学习的最优效果。本项目提出充分利用排序学习机制的新型深度学习理论（简称“排序深度学习”），重点研究有效利用排序信息替代或者辅助类别标签的深度学习，接着基于多媒体排序中的多模态形式，提出跨模态排序算法作为跨模态检索的核心技术，然后将进一步与半监督学习、迁移学习、流形学习等机器学习方法相结合，拓展特定场合下的研究内容，最后结合多媒体信息检索、多媒体自动问答、个性化推荐等实际应用验证算法的先进性和实用性。本项目的实施将完善排序学习和深度学习的基础理论研究，推动多媒体检索、移动互联网等相关产业的发展。

由于多媒体数据特征维数很高噪声大，使得面向多媒体的排序学习受到了很多制约，严重影响算法的泛化能力和效率。为了提高算法鲁棒性和实用性，现有方法通常通过深度学习进行表征学习。但现有的深度学习方法大多仅利用了数据样本和类别标签，不能充分利用训练数据间的相关度等重要的排序信息，因而不能达到面向排序学习的最优效果。在此背景下，本项目提出充分利用排序学习机制的新型深度学习理论（简称“排序深度学习”），主要研究基于排序信息的深度学习策略和基于跨模态排序学习独特学习机制的深度学习策略，探索“排序深度学习”技术与其他机器学习方法相结合的途径，并研究“排序深度学习”技术在多媒体排序相关领域的平台构建。..本项目的成果包括共发表了7篇顶级刊物论文，22篇国际顶级会议论文并在会上宣读论文。其中1篇论文的方法被收录到最近更新的国际及其学习权威教材中。另外我们还开放发布了一个人脸特征识别数据库。除此之外，课题组在本项目中共获得了11项国家发明专利授权。这些成果不仅为研究基于排序信息的深度学习策略和研究基于研究基于跨模态排序学习独特学习机制的深度学习策略提供了理论基础，也为探索“排序深度学习”技术与其他机器学习方法相结合的途径和研究“排序深度学习”技术在多媒体排序相关领域的平台构建提供了技术支撑。..本项目的人才培养成果包括课题组成功晋升1名讲师为副教授，成功引进1名特聘副研究员，以及毕业了3名博士生，4名硕士生。此外课题组正在培养6名博士生和4名硕士生。