偏微分方程学习模型的理论研究及其在图像处理中的应用

Algorithms for machine learning can guide computers find useful information from mass data. It has a very large potential application value and mining space to combine the traditional partial differential equations (PDEs) methods for image processing and the advanced machine learning methods. In this project, we try to apply the idea of machine learning on the designing partial differential equations for image processing, and call it Learning Partial Differential Equations (LPDEs), which learns partial differential equations from training image pairs (i.e., the input image and the expect output image). We mainly introduce the LPDEs system from three aspects, i.e. the modeling, algorithm design and analysis, the application. First, we would like to consummate the modeling of the LPDEs system, i.e. designing different systems according to different image processing tasks, like sparse learning partial differential equations (LPDEs). Second, we will design the algorithm for each different LPDEs system. Last, we apply the LPDEs system for more computer vision tasks and analysis the performance of the system.

机器学习的算法能指引计算机在海量数据中挖掘有用的价值，如何将传统的偏微分方程图像处理方法与先进的机器学习方法融合并处理高层视觉问题具有非常大的潜在应用价值和挖掘空间。本项目试图将机器学习的思想应用到偏微分方程图像处理中，即建立了偏微分方程学习模型，通过训练数据学习偏微分方程的模型进而处理视觉任务。本项目主要从数学建模、算法设计与分析、应用三方面对偏微分方程学习模型（LPDEs）进行系统研究。首先，对偏微分方程学习模型进行完善，再结合最优控制理论针对不同图像处理任务学习不同形式的偏微分方程，并针对不同的图像处理问题和任务设计不同的约束控制问题，如稀疏偏微分方程学习模型；然后，针对具体的偏微分方程学习模型设计相应的求解算法；最后，将偏微分方程学习系统应用于不同的计算机视觉问题中，并对系统的学习性能进行分析。

本项目将机器学习的思想应用到偏微分方程图像处理中，即建立了偏微分方程学习模型，通过训练数据学习偏微分方程的模型进而处理视觉任务。首先，我们对偏微分方程学习模型进行了完善，再结合了最优控制理论针对不同图像处理任务学习不同形式的偏微分方程，并针对不同的图像处理问题和任务设计不同的约束控制问题，如稀疏偏微分方程学习模型，Navier–Stokes方程学习模型；然后，针对具体的偏微分方程学习模型设计相应的求解算法；最后，将偏微分方程学习系统应用于不同的计算机视觉问题中，并对系统的学习性能进行了数值分析。具体而言，本项目的主要贡献如下：.1.提出了一个针对彩色图像处理的稀疏偏微分方程学习模型，解决了原有模型扩展到彩色图像过于复杂并且难于求解的问题。首先去除了已有的偏微分方程学习模型中关于指示函数的方程并对线性组合系数添加了L1正则约束项。然后利用近端算法对模型进行求解，并对算法的收敛性和收敛速率进行了相关的研究。.2.基于Navier–Stokes方程和微分不变量，创建了一个与位置有关偏微分方程学习模型。据我们所知，这是第一个将Navier–Stokes方程应用到高层视觉处理问题上。特别地，我们将特征提取演化过程用Navier–Stokes方程进行建模，并将演化率近似为微分不变量的线性叠加。同时，将权重系数设置与图像位置参数有关，这是变成一个系数矩阵。通过使得训练样本的识别误差最小，设计了坐标下降算法来学习系数矩阵，然后通过所学习模型来进行识别。.3.将偏微分方程学习系统应用于不同的计算机视觉问题中，并对系统的学习性能进行了数值分析。首先将所提出的LSPDE模型在两个不同的彩色图像处理问题上进行测试：即彩色图像去噪和彩色图像插值；并从处理结果和学习效率两个方面验证所提出的LSPDE模型的优越性。其次将Navier–Stokes方程学习模型应用到高层视觉处理问题人脸识别上，所提模型的准确率要明显好于当前其他方法，并且稳定性也明显优于原有的偏微分方程学习模型。特别地，所提方法在扩展yale B数据集上选取20个训练样本时准确率高达99.9%！.本项目研究形成了偏微分方程学习模型的稀疏学习模型、Navier–Stokes方程学习模型、算法与实现，为偏微分方程和机器学习的结合提供了有力支撑。