基于核统计独立性的多核学习及其应用研究

Kernel selection is the key issue in kernel methods. Multiple kernel learning (MKL) utilizes a combination of multiple base kernels instead of a single one and thus transforms the problem of kernel selection into the choice of combination coefficients, which improves kernel methods effectively. However, most of the MKL algorithms utilize the structural risk functional of learning machines (A typical example of learning machines is support vector machine) as the objective function for learning and optimization, which restricts their performance and applications. As an effective test statistic for measuring the statistical independence between random variables in kernel-induced feature spaces, Hilbert-Schmidt independence criterion (HSIC) has been successfully applied to different data analysis problems, such as feature selection, clustering and subspace analysis. The successes are mainly attributed to the excellent characteristics of the empirical estimate of HSIC, such as fast convergence and higher computational efficiency. However, to our knowledge, no related research on the combination of kernel statistical independence and MKL has been found. In this work, on the basis of sufficient consideration about the special characteristics of these two kernel methods, we will investigate some key aspects of HSIC-based MKL, in order to overcome the deficiencies of the existing kernel methods and expand its application range. To be specific, we will emphasize on the theoretical basis, general MKL framework and its solution algorithm, base kernel selection and application to word sense disambiguation in natural language processing. This work has great significance for MKL, as well as the issue that how to choose appropriate kernel according to the specific application domain.

核选择是核方法研究的关键内容，多核学习通过利用多个基核代替单个核，将核选择问题转化为对组合系数的选择，有效地改进了核方法。但是，因其大都局限于以学习机(如支持向量机)的结构风险为优化的目标函数，导致了性能和应用受限。Hilbert-Schmidt 独立性准则是一种在核诱导的特征空间中度量随机变量之间统计独立性的检验统计量，由于其经验估计具有收敛速度快以及计算简单等特点，已被成功应用于特征选择、聚类、子空间分析等方面。然而，核统计独立性在多核学习方面的应用却是一片空白。本项目旨在充分考虑两者特性的基础上，研究基于Hilbert-Schmidt 独立性准则的多核学习的理论基础、一般框架与求解算法、基核选择以及在自然语言词义消歧中的应用，以克服现有核方法的不足及拓展其应用范围。本项目的研究不仅对于多核学习具有重要的意义，而且对于如何根据特定的应用领域选择使用核函数也具有较好的应用价值。

核选择是核方法研究的关键内容，多核学习通过利用多个基核代替单个核，将核选择问题转化为对组合系数的选择，有效地改进了核方法。但是，因其大都局限于以学习机(如支持向量机)的结构风险为优化的目标函数，导致了性能和应用受限。Hilbert-Schmidt独立性准则(Hilbert-Schmidt independence criterion, HSIC)是一种在核诱导的特征空间中度量随机变量之间统计独立性的检验统计量，由于其经验估计具有收敛速度快以及计算简单等特点，已被成功应用于特征选择、聚类、子空间分析等方面。然而，核统计独立性在多核学习方面的应用却是一片空白。本项目旨在充分考虑两者特性的基础上，研究基于HSIC的多核学习的理论基础、一般框架与求解算法、基核选择以及在自然语言词义消歧中的应用，以克服现有核方法的不足及拓展其应用范围。完成的主要内容及成果包括：1)在核方法研究方面，提出了一种基于HSIC的一般性核学习框架，以统一的形式描述有监督、半监督和无监督情形下的核学习问题，并在这个框架下详细讨论了高斯核的参数优化问题；提出了一种基于HSIC Lasso的多核学习算法，在此基础上，提出了一种基于HSIC的模糊二阶段多核学习方法；提出了一种基于特征加权的多核学习算法；提出了一种基于中心化核极化的模糊支持向量机模型。2)在基于核方法的具体应用方面，提出了基于监督语义扩散核的词义消歧与文本分类算法；提出了基于指数核的半监督词义消歧与文本分类算法。3)在系统原型开发方面，设计了一个基于语义扩散核与支持向量机的半监督中文文本分类JAVA EE软件实验平台。上述研究成果在学术上进一步完善了核函数选择的理论与方法，在实践中提升了核方法的性能并拓展了核方法的应用范围。本项目共发表学术论文14篇，其中SCI检索的5篇、EI检索的6篇，授权计算机软件著作权一项，项目整体执行情况良好，较好地实现了预期研究目标。