基于非独立同分布数据的梯度学习算法的推广性能研究

回归函数的梯度能够同时提供高维数据特征变量选择和维数约简信息。本项目的目标是建立基于独立不同分布数据以及相依同分布数据的函数梯度逼近理论，设计快速学习算法，分析数据分布规律与学习算法的推广性能之间的关系。综合利用函数逼近论、概率论、泛函分析和最优化理论等方法，研究学习算法的一致性、稳定性，估计其推广误差。为基于具有多个特征变量数据（即高维数据）的机器学习问题提供解决方案和快速算法。同时使得逼近论本身获得新的思想和方法，与其它学科的联系得到本质上的加强，在更宽广的范围发挥重要作用。

本项目的研究结果包括：建立了基于在线抽取于其边缘分布具有指数收敛性的分布的数据的回归函数梯度的学习算法，研究了算法的收敛率，分析了样本分布对算法的复杂度的影响，通过数值实验对算法的有效性进行了验证。提出了一种和函数空间中基于l1正则化的回归函数学习算法。在对核，输入空间，边缘分布和回归函数进行适当的假设条件下研究了算法的推广界。