面向复杂信息的学习理论研究

学习理论研究基于随机样本的学习算法，并对取样误差和逼近误差进行理论上的分析。学习理论依赖于概率统计，也充分借鉴和利用函数论的思想和方法。本项目旨在研究面向复杂信息的学习算法设计和算法的误差分析。高维信息、多任务信息、多视图信息是信息复杂性的重要体现。针对高维数据设计降维算法，对数据降维后最优预测函数的性能给出理论的分析。在模型选择的理论框架下，利用相关任务的样本信息为目标任务选择最合适的模型参数，并进一步为目标任务设计自适应的学习算法，分析算法收敛性能。研究多视图学习算法，利用多视图信息有效削减假设空间的复杂度，建立快速学习率，并应用于青光眼早期诊断。在正则化学习框架下，研究基于多核，特别是基于无限核的假设空间的逼近能力和复杂度估计，探索基于数据的自适应的核函数构造方法，设计面向大规模复杂数据的快速算法，应用于系统辨识。为逼近论和学

在项目执行期内, 本项目组按照项目的研究计划，圆满完成了各项研究任务。在项目执行期间, 项目组共发表学术论文9篇，其中被SCI收录的论文6篇。这其中，既有基础数学的理论研究工作，也有结合医学健康领域的实际问题开展的应用研究工作。而且，在项目的执行过程中，项目组成员与中国科学院及北京同仁医院开展了深入的学科交叉研究，为将来进一步的合作研究打下了坚实的基础。项目负责人受长江学者李涵雄教授邀请，到香港城市大学交流访问一个月，共同探讨将机器学习应用于系统辨识等研究领域。培养在读硕士研究生一名。.在本项目的执行期内, 项目组围绕面向复杂信息的机器学习算法，主要取得了以下几方面的研究成果：（1）提出了基于多尺度核的最小平方正则化回归算法和弹性网学习算法，用以对回归函数进行逼近。利用具有不同尺度的核函数构造基函数，同时逼近目标函数的高频和低频成分，并估计算法的收敛性和收敛速度。（2）针对多任务学习，提出了和空间中的多任务学习算法。建立了描述多任务之间联系的理论刻画，进而设计了多任务正则化学习算法。借鉴基于多任务的经验风险最小化的思想，建立了更加广泛的任务联系刻画方法。在模型选择的理论框架下，利用相关任务的信息来估计假设空间的结构，进而利用目标任务的信息学习目标函数。（3）利用多视图信息有效削减假设空间的复杂度，建立基于多视图学习算法的快速学习率。设计基于多视图协同训练思想的青光眼诊断学习算法，辅助医生分析复杂的眼科检查数据，提高青光眼早期诊断准确率。结合机器学习方法和专家知识，从眼底照中提取区分青光眼的特征，进而利用支持向量机等机器学习算法实现计算机辅助诊断。（4）针对分布在低维流形上的高维数据的特征提取问题，设计了再生核希尔伯特空间中的正则化图拉普拉斯算法，提取高维数据的本质特征，并分析算法的学习率。