再生核的若干关键数学问题及其在机器学习中的应用

Machine learning is a mainstream direction of artificial intelligence and a key technique in big data processing. The kernel methods are the most important and successful methods in machine learning. Reproducing kernels also have major applications in statistics, scattered data interpolation, numerical PDE, sampling, etc. Nowadays, driven by the practical need in handling high-dimensional complex data and by the mathematical progresses in compressed sensing and L1/2 regularization, new research directions such as the coefficient regularization, multi-task learning, multiscale kernels have appeared. This project targets at a few crucial theoretical problems underneath these methods, including: providing appropriate background reproducing kernel spaces for Lp (0<p<1) coefficient regularization in order to improve the error analysis of such algorithms; establishing Lp-norm (p=1 and p>1) vector-valued reproducing kernel Banach spaces to provide a sound mathematical foundation for the development of coefficient regularizations and sparse approximation for multi-task learning; combining the idea of wavelets and kernel methods to systematically study multiscale kernels and the associated reproducing kernel spaces; fully investigating the universalities of reproducing kernels. We expect that the outcomes of the project will dramatically enrich the mathematical theory on reproducing kernel as well as promoting the development of learning algorithms such as coefficient regularization, multi-task learning, and multiscale kernels.

机器学习是人工智能的主流方向，也是大数据处理的关键技术。再生核方法是机器学习最重要和成功的方法之一。再生核也在统计、散乱数据拟合、数值PDE、采样等其他应用数学分支有重要的应用。 当前，在处理高维巨量数据的应用需求的推动下，以及压缩感知、L1/2正则化等稀疏逼近数学进展的启发下，出现了系数正则化、多目标学习、多尺度再生核等学习理论新发展趋势。本项目针对发展这类方法亟需解决的几个关键理论问题，包括：为Lp(0<p<1)系数正则化提供一个合适的再生核背景空间，改善这类算法的误差分析；建立具有Lp范数(p=1和p>1)的向量值再生核巴拿赫空间，为多目标学习的系数正则化和稀疏逼近奠定数学基础；结合小波分析思想和核方法，系统研究多尺度再生核的构造和对应的再生核空间；深入研究再生核的一致逼近性。预计本项目的研究成果将显著丰富再生核的数学理论和推动系数正则化、多目标学习、多尺度核等机器学习方法的发展。

本项目致力于解决当前机器学习重要发展趋势中的若干关键数学理论问题。研究内容包括标量值再生核巴拿赫空间理论、具有稀疏范数的向量值再生核巴拿赫空间构造、一致逼近再生核、多尺度核以及基于再生核的采样理论。. 项目研究过程中，我们构造了具有L1范数的向量值再生核巴拿赫空间和具有group lasso 范数的向量值再生核巴拿赫空间，并应用于多目标机器学习问题；为深刻理解系数正则化所需要的再生核巴拿赫空间，我们提出了再生核巴拿赫空间一个统一的构造框架，澄清了再生核巴拿赫空间及其再生核的定义；建立了基于再生核巴拿赫空间的支持向量机理论，建立了L1和Lp巴拿赫空间上的支持向量机方法的统计距离误差界；研究了基于再生核的采样问题的误差分析，得到了从有限采样数据重构一个带宽有限函数的最优指数阶估计；在多尺度核方面，基于负责人及其合作者建立的多尺度核理论研究相应的算法；在再生核的一致逼近性问题上，我们刻画了测度嵌入的可容许核条件。. 项目负责人及其学生2016-2019年期间发表接收论文12篇（均标注项目支持），其中SCI11篇，国内核心《计算数学》1篇。在审三篇（arXiv: 1901.01036，1901.01002，1903.00819）。项目较好地完成了预期目标。