核函数优化选择的关键技术研究

Kernel methods have been successfully apllied for a wide range of different data analysis problems, such as pattern recognition and function estimation. A typical example of kernel methods is support vector machine (SVM). It is well known that kernel function is a crucial factor of achieving good performance for kernel methods. In this work, taking the issue of kernel function evaluation as cut-in piont, we will investigate some key technologies for kernel optimization and selection, in order to further improve the performance and expand the application range of kernel methods. To be specific, in this work we will: 1) study the approaches to design effective kernel evaluation criterion,which is based on the data distribution in the feature space; 2) present efficient stage-by-stage multiple kernel learning algorithm based on kernel evaluation; and 3) study the application of multiple kernel learning to word sense disambiguation in natural language processing. This work is valuable for SVM and other supervised kernel-based learning models, as well as the issue that how to choose appropriate kernel function according to the specific application domain.

以支持向量机(Support Vector Machine,SVM)为主要代表的核方法(Kernel Methods)目前在模式识别、函数估计等领域获得了广泛的应用。核函数是影响核方法性能的关键因素，从核函数度量(简称核度量)这个切入点来研究核函数优化选择的关键技术及其应用，以达到进一步提升核方法性能和拓展核方法应用范围的目的。主要研究内容包括：1)从特征空间数据点的分布特性出发，设计有效的核度量标准的技术；2)基于核度量的高效的分阶段多核学习(Multiple Kernel Learning,MKL)算法；3)多核学习在自然语言处理词义消歧(Word Sense Disambiguation,WSD)中的应用。本项目的研究不仅对支持向量机具有重要的意义，而且对其它有监督的核学习模型的性能改进也具有重要的应用价值，同时对于如何根据特定的应用领域选择使用核函数问题也具有一定的借鉴意义。

核函数的选择是核方法取得成功的一个关键问题，同时也是核方法当中一个非常活跃的研究领域。本项目研究了核函数优化选择的若干关键技术及其在自然语言处理词义消歧中的应用，完成的主要研究内容及成果包括：1) 提出了一种适用于多类分类问题的核度量标准，称为多类核极化。在此基础上，提出了一种基于多类核极化的二阶段多类多核学习算法，即第一阶段学习独立于具体核学习机的组合核，第二阶段将得到的组合核用于具体的核学习机(如SVM)的训练以获得最终的决策函数。2) 提出了一种基于优化多类核极化的广义高斯核的参数选择算法。和优化后的标准高斯核相比，使用优化后广义高斯核的SVM具有更好的泛化能力。进一步地，将多类核极化标准应用于SVM 的特征选择，基本思想是先进行高斯 ARD(Automatic Relevance Determination)核函数的参数优化，然后依据相应于各个特征的参数值的大小进行特征选择，取得了较好的效果。3) 提出了一种基于核Fisher准则的核组合算法，与传统的使用单个核函数的方法相比，该算法能明显地提高核方法的分类性能。4) 采用基于图论的方法深入剖析语义扩散核的物理意义，分析语义扩散核对自然语言文本中词语“高阶共现”信息进行建模的原理与实现方法。在此基础上，提出了一种基于语义扩散核的词义消歧算法，主要涉及如何高效地嵌入词语之间的统计语义联系并缓解“稀疏表示”的问题。5) 针对自然语言待消歧词语上下文表示形式的多样、异构特性，提出了一种基于组合核(多核学习)框架的词义消歧算法。进一步地，将基于组合核(多核学习)框架的词义消歧算法扩展应用到文本分类问题中，提高了文本分类的效果。上述研究成果在学术上进一步完善了核函数选择的理论与方法，在实践中提升了核方法的性能并拓展了核方法的应用范围。本项目共发表学术论文11篇，其中SCI检索的期刊论文8篇，项目整体执行情况良好，较好地实现了预期研究目标。