非正定核的性质及其在学习理论中的应用

随着众多实际应用的发现，非正定核学习逐渐成为学习理论中的一个重要课题。但其理论分析还刚刚起步。申请人在这一课题已经取得了一些初步的研究成果：提出了假设空间误差的概念，设计了包含假设空间误差的误差分析框架，得到了非正定核回归算法的首个容量无关估计。本项目拟进一步系统地研究非正定核学习算法的渐进收敛性，为其建立数学基础。为此，本项目从研究非正定核的性质入手，探讨其对应的特征映射的存在性、函数空间的复杂性和逼近能力、及积分算子的有界性。然后利用非正定核的这些性质来研究所对应学习算法的优化性质，包括稳定性、稀疏性等。这些准备工作完成后，将研究非正定核学习算法的误差分解，各类误差的估计，并最终得到算法的收敛速度。还将考虑利用稳定性分析、排一分析法、积分算子方法等得到容量无关估计的可能性以及强混合相关抽样条件下算法的收敛性。最后，将结合这些理论分析进行大量的仿真试验，寻找非正核的更多实际应用。

本项目的核心问题是研究非正定核的性质及其在学习理论中的应用。主要的研究成果包括（1）利用非正定核积分算子的奇异值与奇异向量定义了两个再生核希尔伯特空间，并利用它们对非正定核生成的函数类及对应的积分算子进行了刻画。（2） 利用非正定核的性质，对非正定核最小二乘算法进行了容量无关分析，得到了在独立抽样和强混合相关抽样条件下的容量无关收敛速度。（3） 在基于l1系数正则化和非正定核的最小二乘算法的收敛分析中引入了一个新的阶石方法，从而在不需要对样本空间作几何正则性限制的条件下得到较快的收敛速度。对l1系数正则化核算法的稀疏性进行了刻画，并利用仿真试验验证了解的稀疏性。（4）研究了基于经验误差最小化以及核正则化的最小误差熵算法的收敛性，证明了在齐性噪声模型假设下算法的收敛性可以在带宽参数以较慢的速度趋于零时得到，并利用反例说明这一结果在非齐性噪声模型下一般不成立。在非齐性噪声模型假设下，证明了算法可以在带宽参数足够大时收敛。这些结果充分说明了最小误差熵算法收敛分析的复杂性。（5）从函数学习的角度对基于非正定核的主成分分析的收敛性进行了初步研究。