多核学习若干关键问题研究

This proposal gives a further research on the key problems left in multiple kernel learning (MKL). As a focused problem in machine learning, MKL has basically solved the problems about multiple kernel construction, sparse solutions, real-application transformation, etc. However, MKL has still some key problems to be further discussed. First of all, it is singler for the existing construction of multiple kernels. Differently from the existing ways of constructing and optimizing kernels, this proposal develops a novel way of constructing and optimizing kernels so as to bring a high classification effectiveness. Secondly, it is larger for the computational cost of the existing MKL. Thus this proposal analyzes the scale of the dealt data and presents an efficient and effective MKL that could not only reduce the computational cost but also improve the generalization ability. Thirdly, the existing MKL lacks the enough integration by the prior information which should be fully induced in classification processing. This proposal aims to introduce the prior information into MKL so as to get a high generalization. Finally, this proposal generalizes the MKL into the sub-space learning and proposes a robust sub-space learning based on multiple kernels. Doing so could remove different noises since multiple kernels with different information are induced. The robust learning is also applied into the infrared face recognition. This proposal aims to provide a novel and effective design way for the classification learning theory and obtain a valuable real-application.

本项目是对多核分类学习中遗留的若干关键问题展开的深入研究与探讨。多核学习是当前机器学习的一个新的热点，其已基本解决了多核构造理论、解的稀疏性与实际应用转化等关键问题，然而其遗留如下问题仍待解决。首先，多核构造方式仍较为单一。本项目不同于传统多核构造及权重的设置方式，在充分考虑分类模型效率的前提下，设计出一种新的多核构造方法。第二，计算代价较大。本项目从降低多核模型的计算代价与提高推广性能两个角度出发，考虑实际问题中数据的规模，使得所设计的模型应用于大规模数据时能在时空复杂度上有所突破。第三，缺乏先验信息的充分融合。本项目通过融入数据的先验信息以提高多核模型的推广性能。最后，本项目将所设计的多核模型拓展至子空间学习，设计出能去除多种复杂噪声的多核子空间学习算法，并将上述研究成果应用到基于红外图像人脸识别的实用系统中。本项目力图为分类学习理论及算法提供新的设计理念，并可望取得实际的应用成果。

多核分类学习是当前机器学习的研究热点之一，是提供学习推广性的重要手段。现有的多核分类学习能同时考虑多个核函数，已被证明对涉及多结构数据的分类问题可行有效。但相应地，我们也发现尽管对多核分类的研究在近几年获得了显著进展，但其无论是从理论分析还是算法研究上仍遗留以下几个关键问题需要进一步研究与解决，针对这些关键问题，本项目开展了如下研究：分别从多核构造、多核模型计算与分类性能、融入先验信息及其模型拓展应用等方面进行的研究。内容涉及建模、算法设计和实现、相关的理论分析与实验对比等研究，并取得如下主要成果：.1. 新的多核学习模型框架构建方面,提出了基于随机投影的显式核映射的多核学习算法MEKLRP，并进一步将其与集成学习结合提出新的多核集成算法RPEMEKL；提出基于多视角权重组合的多核学习算法MLEKL；提出基于局部密度的模糊多经验核学习算法LD-FMEKL；.2. 降低多核算法计算复杂度方面，通过引入有效的随机经验核映射的方法提出了高效的多经验核学习算法MREKLM；提出了基于 Nyström近似的多核分类器NMKMHKS与多核子空间学习算法MNKDA；提出了基于多分块经验核映射的动态多核学习算法MPEKDyL；提出了基于高斯消除技术的约简型多经验核学习算法RMEKLM；.3. 结合数据先验信息方面，提出了一种基于三重结构的多经验核学习分类算法TSMEKL；提出了基于动态成对约束的多经验核分类算法MEKLPC；提出了基于全局和局部结构特征及典型相关分析的多经验核算法GLCCA-MEKM；.4. 多核是对数据原始空间的多尺度映射，进一步的，该项目对原始研究内容进行了拓展，从数据表示形式出发，设计出一系列矩阵型分类模型，如提出基于类间判别的矩阵学习机CBCMatMHKS、基于快速聚簇的插值型矩阵分类算法FLIMLM等，并将其与所提出的多核分类模型进行对比分析；.上述成果主要以学术论文与发明专利形式呈现，基于此项目已录用发表SCI(E)期刊论文28篇，中文核心期刊论文3篇，上述成果被谷歌学术统计引用54次；申请国家发明专利9项；培养毕业硕/博士生8人。