学习理论中基于核函数的正则化算法的研究

正则化算法是统计学习理论的主要研究领域之一，本项目紧紧围绕正则化算法的核心问题，开展如下三个方面的研究。（1）研究基于弱相关抽样的正则化学习算法的误差及学习速率估计，包括研究强混合条件下的Online算法的误差与学习速率，建立基于弱相关抽样的Bernstain不等式，从而对基于强混合序列抽样的正则化最小二乘算法，改进现有的误差与学习速率的估计结果；（2）研究系数正则化算法， 包括基于系数p-范数作为正则项的系数正则化算法的误差估计与学习速率，积分算子方法的应用与改进， 当取系数的1-范数作为正则项时，建立有关其优化解的稀疏性理论；（3）研究梯度学习算法，利用覆盖数的方法建立依容量相关的误差估计与学习速率， 研究结合梯度的积分算子 的性质，用积分算子的方法得到依容量无关的误差估计与学习速率。上述研究的实现为正则化算法提供了理论保证，因此具有重要的理论意义。

正则化学习算法是统计学习理论的主要研究领域之一，本项目紧紧围绕正则化学习算法的核心问题，完成了如下几个方面的研究工作。（1）研究基于弱相关抽样的正则化学习算法的误差及学习速率估计，包括证明基于非同分布和强混合抽样过程的正则化算法的一致性， 通过引入核函数相应的条件， 成功得到基于强混合抽样过程与非正定核的系数正则化算法的误差界与学习速率的估计，同时提高了基于非正定核的学习速率的估计结果； （2）研究系数正则化算法，通过引入一种step-stone技巧，研究了取系数的1-范数作为正则项的系数正则化算法的误差估计与学习速率，并且给出其优化解稀疏性的一种表示，进一步研究了基于系数p-范数作为正则项的系数正则化算法的渐进收敛性； （3）研究了基于核正则化的典型相关分析（CCA）的误差分析与收敛速率，这里克服的主要困难是逼近条件的确定以及算子逼近的估计，进一步研究了基于核正则化的条件CCA学习的收敛速率； （4）此外，我们研究了梯度学习算法、 谱正则化算法、 基于无界抽样的正则化算法的一致性， 研究了多核正则化算法优化解的存在性。上述研究成果丰富了正则化学习算法的理论基础，具有重要的理论与实际意义。