基于核函数的正则化学习算法：逼近性及稀疏性研究

Learning theory began with work on statistical learning theory and support vector machines. It aims at reconstructing the potential functional relations and features from random samples, and then characterizing how the data are generated and organized. Due to the nice approximation properties and effective performances, kernel-based regularization schemes have been investigatied exten-.sively in learning theory. This project mainly studies the asymptotic performances of some regularization schemes in data dependent hypothesis spaces constructed by kernel functions, including the approximation properties of the algorithms and the sparse representations of the output solutions. Specifically, we will investigate.coefficient-based L1 regularization schemes and regularization schemes based on empirical features. Ideas from approximation theory and wavelet analysis are taken for the design and theoretical analysis of the algorithms. By the study of this project, we shall have better understandings of existing algorithms and explore new learning schemes.

学习理论开始于经典的统计学习理论和支持向量机的研究，其目的是借助随机样本重构潜在的函数关系或者函数特征，进而刻画数据产生的机制或者数据的组织结构。基于核函数的正则化算法，因为良好的逼近性质和可执行性，是学习理论中研究最广泛的一类算法。本项目的核心内容是利用逼近论的方法对基于核函数构造的样本依赖假设空间中的一些正则化算法的渐近性质进行深入的理论研究，包括算法的逼近性质和解的稀疏表示。具体来说，本项目将研究L1系数正则化算法和基于经验特征的正则化算法。逼近论，小波分析中的思想将被用于算法的设计和理论分析。本项目的研究有助于提高人们对现有算法的理解，并为设计新的学习算法提供线索。

学习理论的数学基础是再生核Hilbert空间理论以及逼近论，前者提供理论框架，后者提供算法分析的数学工具。算法分析的基本思想是建立数据分析模型的样本误差和逼近误差分解，两者的估计都涉及对逼近论中经典课题的研究。学习理论研究的一个重要问题是数据分析算法的相容性以及学习率，这为算法在实际应用中的表现提供了理论依据。本项目的核心内容是研究学习理论中基于核函数的正则化算法。项目始终按照计划展开工作，在项目资助下，已在应用数学和机器学习领域的国际权威期刊，如Adv. Comput. Math.，IEEE Trans. Pattern Anal. Machine Intelligence，J. Machine Learning Research等杂志上发表多篇高质量的学术论文，并于2014年在复旦大学成功举行了学习理论及其相关领域的国际学术研讨会。