变分法与偏微分方程在机器学习中的应用

当前机器学习研究领域主要以概率统计方法为理论工具，尽管取得了巨大成功，但也暴露出统计学习方法中诸如参数过多、经典统计分布与数据真实分布不一致等问题。我们期望从基础数学的角度出发，特别是利用变分法与偏微分方程作为数学工具，来研究机器学习的三个核心问题：(1)高维数据到低维流形空间的非线性降维问题；(2)有监督的分类问题；(3)回归或函数逼近问题。这三个问题都归结为对某个未知映射函数的求解。求解思路可分为如下三步：(1)首先利用正则化方法，适度增加合理的约束条件，构造关于待求映射函数的能量泛函；(2)然后采用变分法进行推导和简化，将能量泛函最小化问题转化为对应的欧拉-拉格朗日偏微分方程；(3)最后利用数值方法对偏微分方程进行求解。此研究的特点是可充分利用变分法与偏微分方程的丰富理论结果，力争在机器学习方法论层面上取得突破和创新。

当前机器学习研究领域主要以概率统计方法为主要算法工具，尽管取得了巨大成功，但也暴露出统计学习方法中诸如参数过多、经典统计分布与数据真实分布不一致等问题。我们从基础数学的角度出发，以全变差与欧拉弹性能量为基础建立几何正则项，利用变分法与偏微分方程作为数学工具，来研究机器学习中的监督学习问题。具体分为如下三步：(1)首先利用几何正则化方法，以全变差与欧拉弹性能量为基础，构造监督学习的能量代价泛函；(2)然后采用变分法进行推导和简化，将能量泛函最小化问题转化为对应的欧拉-拉格朗日偏微分方程；(3)最后利用函数基逼近的数值方法，对偏微分方程进行数值求解。我们在两类分类、多类分类、和回归三个监督学习问题上做了大量实验，与神经网络与支撑向量机相比较，我们算法取得了较高的准确度。此研究的特点是充分利用全变差与欧拉弹性能量的几何属性，以及变分法与偏微分方程的丰富理论结果，在机器学习的方法论层面上取得了突破和创新。