大规模非参数核学习技术及其拓展研究

核方法已成为许多领域实现非线性化的强有力工具，然而核的构造或选择问题至今还没有完善的理论依据。目前的研究热点是通过核学习方法来构造或选择核。由于参数核学习方法常受限于特定的参数假设，故非参数核学习方法作为一种更灵活的核构造方法倍受人们的关注。本项目旨在发展更有效的非参数核学习算法，并对与之相关的一些问题进行拓展研究，主要研究内容及目标为：1)发展一类高效的非参数核学习算法，在一定程度上解决大规模情形下出现的时空瓶颈问题；2)将1)中的串行核学习算法拓展为并行模式，以提高在（超）大规模问题上的可伸缩性；3)在1)和2)的基础上，发展一类具有鲁棒性的非参数核学习算法，以解决噪声敏感问题；4)将新算法思想应用于大规模聚类和交互式图像分割等实际问题。本项目的研究将能进一步拓展和完善大规模核学习理论，同时将有助于对一些相关问题（如聚类、降维等）提供新的解决思路。

作为实现非线性的有力工具之一，核方法是机器学习进入新阶段的重要标志。围绕大规模非参数核学习，本项目组在如下几方面开展了研究工作：1）通过挖掘问题结构及解的低秩性，研究了核矩阵学习中的可伸缩性（Scalability）问题，并由此提出了三种全新解决方案：基于分块坐标下降优化理论的学习算法、基于reorder技术的并行学习方案、基于双凸优化和罚函数理论的交替坐标梯度下降算法及它的Nesterov加速版本。2）将传统核矩阵学习方法拓展到了带不同经验损失函数的情形，并由此率先提出了利用非凸ADMM(Alternating Direction Method of Multipliers)优化理论进行问题求解的两类算法。此外，借助于代理（surrogate）函数理论，提出了一种对损失函数形式更普适的核矩阵学习算法。3）研究了核矩阵学习中的外推问题，提出了一种具有良好可伸缩性的外推方法。对所有提出的算法，除理论证明外，在实验方面都和国际上同时期最新的同类算法进行了对比。主要研究成果包括：在1区SCI期刊上发表论文1篇、在高等级国际会议上发表论文3篇（其中在rank one会议ICML和IJCAI上各一篇）、已投稿国际会议IJCAI论文1篇、中文核心期刊发表论文1篇。