面向高维数据的稀疏非参核学习方法研究

Different from traditional kernel methods, nonparametric kernel learning establishes optimal models for the final kernel matrix instead of defining kernel functions in advance, which enhances the capacity of fitting diverse patterns in real complex applications. Thus, it has been a focal point of research in kernel learning fields. But, the performance of nonparametric kernel learning models is generally degraded sharply by high dimensional data, which even results in ill-posed problems. Meanwhile, traditional methods focus on the study of the sparsity of kernel matrices and ignore that of kernel coefficients. Aiming at these problems, this project intends to incorporate nonparametric kernel dimensionality reduction methods into nonparametric kernel learning for the specific learning task, and present a novel nonparametric kernel learning method for high dimensional data to overcome the shortcomings of traditional methods. The main research contents include the following aspects. Firstly, a novel dimensionality reduction model and fast algorithms will be designed based on nonparametric kernels. Secondly, combined with the proposed dimensionality reduction model, a general nonparametric kernel learning framework will be established for high dimensional data, and a series of effective algorithms will be proposed to solve the proposed optimization model. Finally, the proposed nonparametric kernel learning framework will be applied to image recognition to present a novel image classification method. The research of this project will not only provide some novel optimization models and effective algorithms for the nonparametric kernel learning theory, but also solve the problem caused by high dimensional data in the practical application of image classification.

非参核学习方法绕过预先定义核函数这一传统思路，直接面向最终的核矩阵建立优化模型，增强了解决复杂模式分析问题的能力，因此成为近年来核学习方法研究的热点之一。但是，原始数据的高维度会导致现有非参核学习模型的性能大幅下降或不适定问题的出现，同时，现有非参核学习模型的稀疏性研究大多集中在分析核矩阵的低秩性，而忽视了核扩展系数的稀疏性。针对上述问题，本项目拟将非参核维数约简与面向具体学习任务的非参核学习方法融合，提出面向高维数据的稀疏非参核学习方法，以克服现有不足。主要研究内容包括：1）建立基于非参核的维数约简模型并提出快速优化算法；2）结合非参核维数约简模型，建立面向高维数据的一般性稀疏非参核学习框架并设计出一系列有效优化算法；3）将提出的非参核学习框架应用于图像识别，提出基于非参核的图像识别方法。通过本项目的研究，我们将为非参核学习理论提供一些新的优化模型、新的学习算法以及在实际数据集上的应用。

非参核学习方法绕过预先定义核函数这一传统思路，直接面向最终的核矩阵建立优化模型，增强了解决复杂模式分析问题的能力，因此成为近年来核学习方法研究的热点之一。但是，原始数据的高维度会导致现有非参核学习模型的性能大幅下降或不适定问题的出现，同时，现有非参核学习模型的稀疏性研究大多集中在分析核矩阵的低秩性，而忽视了核扩展系数的稀疏性。针对上述问题，本项目拟将非参核维数约简与面向具体学习任务的非参核学习方法融合，提出面向高维数据的稀疏非参核学习方法，以克服现有不足。主要研究内容包括：1）建立基于非参核的维数约简模型并提出快速优化算法；2）结合非参核维数约简模型，建立面向高维数据的一般性稀疏非参核学习框架并设计出一系列有效优化算法；3）将提出的非参核学习框架应用于图像识别，提出基于非参核的图像识别方法。通过本项目的研究，我们将为非参核学习理论提供一些新的优化模型、新的学习算法以及在实际数据集上的应用。本项目以聚类和分类问题作为切入点，建立了面向高维数据的稀疏非参核学习优化模型、提出了基于谱回归的高效非线性维数约简算法、面向高维数据的非线性数据嵌入谱聚类算法以及面向高维数据识别的核稀疏表示分类方法。对提出的这些方法进行了实验验证，与传统方法相比，在标准高维数据集上的非参核性能明显优于传统方法，不仅增强了传统核学习算法的鲁棒性，而且具有较快的学习效率。提出的模型和算法可以广泛应用于针对高维数据的核方法领域，因此具有较高的学术价值和广阔的应用前景。