在数据科学中的核函数方法及其分析与应用

This research proposal focuses on the kernel-based method (radial basis function) for the noise data analysis and machine learning. In this research, we will renew the theory and application of the kernel-based method by the combination of the knowledge of approximation theory, numerical analysis, stochastic analysis, and statistics & probability theory in one theoretical structure. Based on our current research results, this research will be proposed to emphasize the following two issues: i) the kernel-based approximation of the numerical differentiation for the noise data by the kernel-based probability measures, ii) the application of the theory of nonsmooth optimization to the explicit solutions of the support vector machines in the 1-norm reproducing kernel Banach spaces. Since the kernel-based method is a fundamental approach of the high-dimensional and scattered data approximation, the research proposed in the kernel-based method will have a significant impact on a novel approximate method for the big data analysis.

本项目的主要目的是研究核函数方法（径向基函数）在噪声数据处理和机器学习中的分析与应用。本项目将在逼近论的框架下结合数值分析、随机分析和概率统计的相关知识来更新核函数方法的理论和技巧。本项目将在申请人已得到的研究成果下继续探讨如下两方面问题：1、如何利用基于核函数的概率测度结合数理统计方法计算带噪声数据的数值微分，2、如何利用非光滑分析的最优化理论直接求解在1模再生核巴拿赫空间中的支持向量机的显示解。由于核函数方法的特性，本项目还将为大数据的研究提供能够处理高维或散乱数据的新形式的逼近方法。

本项目结合数值分析、回归分析和随机分析的理论与技巧研究新时代的核函数逼近方法的研究课题——核函数概率测度和再生核巴拿赫空间。项目组顺利完成了原申报书中制定的研究计划，（1）通过核函数概率测度结合贝叶斯估计方法计算带噪声散乱数据的数值微分和（2）直接地证明了在1模再生核巴拿赫空间中的支持向量机的稀疏性与其解的模的次微分的显示表达式。项目组还突破原来的研究结果，将核函数概率测度和机器学习的表示定理延拓到一般的巴拿赫空间中讨论，进而引领出新的研究方向——基于广义数据的核函数逼近方法。本本项目直至结题共发表和接收了9篇文章，包括发表在了《Memoirs of the American Mathematical Society》、《Applied and Computational Harmonic Analysis》、《Analysis and Applications》和《Journal of Mathematical Analysis and Applications》等学术杂志。项目组将在此研究基础上继续探讨（1）如何结合核函数概率测度和ENO或WENO格式获取高维双曲守恒律方程的新型数值方法和（2）如何结合再生核巴拿赫空间和ADMM算法获取求解非凸支持向量机的快速算法。项目组还将应用核函数逼近方法于癌症数据分析、智慧法庭、中学数学作业智能批改和教育大数据分析等领域。