基于流形学习的超限学习机理论分析及其应用研究

In many applications, such as text mining, bioinformatics, image proceeding, computer vision, etc., the dimension of data is usually very high. How to deal with the exponentially explosive growth of high-dimensional data turns out to be one of most challenging topic in the Era of Big Data. Manifold learning is an efficient method to find a low-dimensional parametrization for a given set of high-dimensional data points lying on a manifold. Extreme learning machine (ELM) has become a hot area of research over the past years. Manifold learning and ELM arise in various applications include image processing and data analysis. This project focuses on a kind of nonlinear optimization problems and the structure preserving numerical methods of extreme learning machine with manifold learning ability. We will mainly study the relationship between the manifold learning method and the extreme learning machine. The major idea be used is appropriately combining several ideas in numerical algebra and non-smooth convex optimization. The main difficulty to overcome is the non-differentiability of the objective function. We will study preconditioning techniques for iterative methods, and develop efficient numerical methods for the kind of nonlinear optimization problems.

在文本挖掘、生物信息、图像处理、计算机视觉等应用领域中，经常会遇到高维数据。随着大数据时代的到来，如何处理高维数据的指数爆炸式增长成为一个极具挑战性的课题。流形学习是寻找高维数据的内在低维流形结构的有效方法。超限学习机(ELM)是一种新兴的机器学习方法。它们在图像处理和数据分析等领域中具有广泛的实际应用背景。本项目将研究一类非线性最优化问题。一是建立流形学习方法和超限学习机之间的联系；二是设计具有流形学习功能的超限学习机的保结构数值方法，其研究思路是把数值代数与不可微凸规划的研究方法有机融合。该研究的主要困难是解决目标函数的不可微性，从而得到具有流形学习功能的超限学习机的快速算法。

本项目研究一类具约束最优化问题的数值解法及相关理论：目标函数为非光滑函数与矩阵迹函数的和，约束集为Stiefel流形。这是广泛出现于图像处理和数据处理等领域的非线性最优化问题，主要的困难是目标函数的不可微性。本项目结合数值代数和非光滑优化的有关研究方法，针对不可微具约束矩阵最优化问题的数值解法开展了系列研究。取得的主要成果包括：研究了具流形学习功能的超限学习机方法，给出了L1范数下的正则化模型，利用Moreau包络和逼近算子技巧处理不可微函数，得到了快速的数值解法。对于低秩矩阵和低秩张量填充问题，基于Moreau包络光滑思路，提出了新的非凸近似技巧，给出了新的矩阵和张量秩最小化模型，证明了算法的收敛性。对一类结构矩阵方程，提出了高精度保结构加倍算法。对于图像去噪的最小化全变差ROF模型，提出了不动点算法的加速策略，给出了FISTA加速算法。利用机器学习、科学计算、图像处理和应用统计等思想和工具分析处理医疗数据，建立了一系列矩阵优化模型并取得了相对成功的应用。