对一系列高维学习算法的理论研究

随着大型计算与信息技术的飞速发展，在诸如基因序列分析，互联网文件排序以及图像处理等领域中我们越来越多地面对如何分析和处理高维海量数据的巨大挑战。在学习理论中也相应地产生了一系列新的研究课题，比如数据降维，特征提取，流形学习以及算法的稀疏性等。本项目的目标是研究由伸缩算子所产生的一系列学习算法。把伸缩算子引进到学习理论中的目的在于当伸缩参数变化的时候，我们通过不同频率的成分学习函数的特征和数据的多尺度结构。这个想法在小波分析中已经用于信号处理和图像压缩。主要工具是径向基函数以及再生核希尔伯特空间。这一系列算法涵盖分类，最小二乘回归(least square regression)，分位数回归（quantile regression），聚类(clustering)等问题。因此我们相信我们的研究将在生物信息，特征提取，金融等方面有着重要的应用，同时亦可完善机器学习的理论体系。

始于支持向量机的学习理论中有很多学习算法可以归结为由伸缩算子所产生的。当伸缩参数变化时，我们可以通过不同频率的成分学习数据间潜在的函数关系和数据的多尺度结构。本项目利用逼近论的方法对这一系列学习算法的渐近性质进行深入的理论研究。主要包括：研究伸缩算子在logistic损失函数所生成的分类学习算法中的应用；分析假设空间基于变尺度高斯核生成的再生核希尔伯特空间的条件分位数回归算法；结合条件分位数回归中pinball损失函数的特点，研究由变尺度不敏感损失函数所生成的支持向量回归算法，揭示变尺度不敏感损失函数对算法设计所起的重要作用；利用优化方法研究系数正则化算法的逼近性质。本项目的研究不仅有助于提高人们对现有算法的理解，并为设计新的学习算法提供线索。