基于信息论的度量学习在不同约束下的理论和方法研究

Metric learning aims at developing mathematical models according to the training data space and then learning the task-specific optimal distance metric adaptively. It plays a substantial role in many machine learning and pattern recognition algorithms. However, Data spaces and learning constraints get more complicated , which challenges the existing metric learning methods. Taking into account that information is the essential processing object in metric learning, this project systematically introduces the information theory into the metric learning theories and algorithms. We will prove the advantages of the information theory based algorithms over the existing empirical ones in generalization ability, effectiveness, etc. ...This research focuses on the variety of combined constraints in metric learning, e.g., the fusion of global and local information, efficiency and robustness. Taking the core concepts in information theory including information gain, correntropy and so on as the theoretical guidance, this research systematically studies the following contents at theory, algorithm and optimization levels: studying the fundamental theories under specific constraints, designing the learning methods, developing the optimization methods. Afterwards, the studied metric learning algorithms are introduced into many challenging applications, e.g., information transfer in computer vision and social media network mining, as the theoretical basis and methodological support. This project benefits the researching areas of metric learning and information theory, and is also of great value in application.

度量学习旨在根据训练数据构建数学优化模型,从而自适应地学习出恰当的距离度量，在机器学习和模式识别等领域发挥着巨大作用。但是，不断复杂化的数据空间和问题约束向传统度量学习方法提出了新的挑战。考虑到度量学习中的基本处理对象是数据信息，本项目将信息理论系统地引入到度量学习的理论和方法等方面，从更为深刻的角度对度量学习进行理解和认知，提升学习方法的有效性和高效性，从而克服传统度量学习方法的多种局限性。.课题围绕度量学习中多信息融合、高效性和鲁棒性等约束的组合实现而展开，以信息论中的信息增益和相关熵等核心理论为依据，从理论、方法、计算和应用四个层次进行系统研究：针对不同约束，研究基于信息论的度量学习理论；形成具体的学习方法；并提出对应的优化策略; 在应用层，以上述成果为支撑，探索知识迁移和社交媒体网络挖掘等前瞻性问题的解决方案。本项目研究成果同时推动信息论和度量学习的发展，且具有广泛的应用价值。

距离度量作为众多机器学习和模式识别方法的核心构成，与之相关的学习任务在理论和应用方面均具有深远的研究价值。但是如何有效而合理地构建可求解的度量学习学习目标，特别是在复杂、噪声数据空间的多约束度量学习任务中，仍是现今难点问题。为此，本项目研究基于信息理论核心概念“熵”构建度量学习目标的关键理论和方法，并论证其相对于传统经验式方法具有的普适性和有效性等独特属性。本项目主要内容包括：（1）多信息融合与高效性约束下基于信息论的度量学习目标研究；（2）多信息融合与鲁棒性约束下基于信息论的度量学习目标研究；（3）开展实例验证与应用研究。. 本项目已按照研究计划顺利完成，达到预期研究目标。研究内容（1）中，本项目提出基于信息增益的度量学习目标构建理论和方法，极大提升了运算效率。进一步发展耦合信息增益理论， 对上述度量学习方法进行了非线性扩展。在研究内容（2）中，本项目发展了基于相关熵的任意程度噪声恢复理论和目标构建理论，建立了基于Renyi信息熵的度量学习、核学习和图嵌入的内在联系。在此基础上，提出了基于相关熵的鲁棒度量学习方法和基于核学习的鲁棒非线性度量学习方法，极大提升了抵抗任意复杂噪声的能力。在研究内容（3）中，本项目完成了度量学习在事件探测中的应用，并利用度量学习来融合公共交通多源异构数据实现了公交广告精准投放。. 本项目关键数据包括：采集公开的人脸、图片和社交媒体文本数据；有关合作部门提供的内部数据。本项目的科学意义：（1）本项目从信息理论的角度为度量学习提出新的设计途径和理论解释，对度量学习和信息论领域的共同发展起到推动作用。（2）研究成果不仅能够大幅提升经典机器学习算法的性能，而且在社交媒体挖掘、舆情监控和计算机视觉等具有前沿性和挑战性的应用领域中有着迫切需求，应用前景广阔。. 当前本项目产出16篇高水平论文，其中高影响因子SCI期刊6篇，CCF A类会议文章3篇。申请1个中国专利。