学习理论和稀疏逼近

学习理论研究基于随机样本的学习算法的样本误差和逼近误差，稀疏逼近探讨学习目标的稀疏表示。学习理论和稀疏逼近的研究依赖于统计推断和逼近论的理论与方法。本项目旨在研究稀疏正则化学习算法的推广性能和稀疏贪婪逼近算法的收敛性及误差分析。结合稀疏逼近和函数逼近的宽度与极值理论，建立压缩感知和最佳K项逼近的有机联系，探讨算法的理论基础。探索高维函数和数据在低维可视空间中的最优表达及其在模式识别等领域的应用。研究具有某种性质的非独立输入样本的学习算法的收敛性，有助于解决许多应用领域所存在的困难。在字典规模较大或无穷字典条件下，研究稀疏正则学习模型对稀疏学习目标的逼近能力以及不同稀疏正则项对稀疏正则化算法逼近性能的影响。利用最优稀疏恢复理论，分析贪婪算法的稀疏重构和稀疏逼近结果，为利用贪婪算法建立稀疏学习算法的误差分析提供理论基础和思想方法。为促进逼近论、学习理论和信息处理等交叉科学领域提供新的研究方法。

本项目研究学习理论中的稀疏逼近问题。在充分理解学习目标稀疏性和最优稀疏逼近关系的基础上，研究稀疏学习算法的收敛性及其误差估计。项目组成员认真履行申请书的承诺，积极工作，取得了一些有意义的研究结果，圆满完成项目研究计划。建立了稀疏正则化学习算法的推广性能的界和稀疏贪婪逼近算法的收敛性及误差分析。提出了基于马氏采样的线性判别分析学习算法，建立了其推广性能的界。估计了矩阵Elastic-net正则化算法的推广误差。通过理论分析，建立了压缩感知和最佳K项逼近的有机联系。考虑依赖于标记样本和未标记样本的假设函数空间，利用贪婪逼近稀疏回归学习，建立对应的推广误差上界的估计。将提出的理论方法应用于模式识别和图像处理领域，得到有意义的应用研究结果。