非凸优化问题的外插邻近类算法理论与应用研究

Nonconvex optimization is an important optimization problem, which has many applications in engineering, computing, economics and so on. According to the special structures of the nonconvex model, how to design efficient algorithms to solve these problems becomes the focus of the study. Based on the existing works, this project will employ the optimization theory, variational analysis and the related theory on differential and difference equations to design proximal algorithms with extrapolation for solving structured nonconvex optimization problems by incorporating the extrapolation techniques into the proximal algorithm. Moreover, we will analyze the convergence behavior and convergence rate of the designed algorithms by constructing proper auxiliary functions. Extensive numerical experiments on the concrete problems arise in the machine learning area will be conducted to illustrate the efficiency of our designed algorithms..The research on this project not only enriches and improves the theoretical results on the proximal algorithm with extrapolation for solving nonconvex optimization problems, but also has some impacts on solving large-scale optimization problems.

非凸优化是一类重要的优化问题，在工程、计算、经济等领域有着广泛的应用。针对非凸优化问题的结构，如何设计算法有效求解上述问题成为大家关注的重点。在已有研究工作的基础上，本项目将利用最优化理论、变分分析、微分方程与差分方程理论，将外插技术与邻近类算法相结合，设计外插邻近类算法求解带有结构的非凸优化问题；进一步，通过构造适当的辅助函数，研究算法的收敛性与收敛速度；最后，应用算法求解机器学习等领域中的具体问题，验证算法的有效性。. 本项目的研究，不仅丰富与发展了求解非凸优化问题的外插邻近类算法理论，而且对求解大规模优化问题具有一定的应用价值。

本项目主要针对出现在人工智能、机器学习、图像处理等领域中的结构非凸优化问题，考虑设计有效的数值算法与动力系统进行求解，并且进一步将其应用于解决具体实际问题。具体来说，本项目的研究内容主要包括以下三方面：. 1.针对一些带有特定结构的非凸优化问题，利用最优化算法理论、微分方程与随机优化理论，将邻近类算法与外插策略以及Bregman距离有效结合，设计了外插邻近梯度算法、Bregman外插邻近DC算法、带惯量项的邻近随机递归算法与带惯量项的随机高斯牛顿算法进行有效求解；进一步，通过构造合适的外插（惯量）系数的，分析目标函数的几何性质，结合算法的设计框架，对每个算法的收敛性与收敛速度进行了讨论；最后，将设计的算法进行了数值仿真，测试了算法的有效性；. 2.从动力系统角度研究了外插算法的快速收敛性质，建立了微分方程与邻近类算法之间的关系，设计了3类二阶梯度系统，证明了该系统解的存在唯一性；利用能量函数法，分析了系统解轨道的收敛性质，在一定的条件下，证明了函数值的收敛速度与遍历收敛性结果；探索了系统中阻尼系数与外插邻近算法中外插系数的对应关系，借鉴研究微分方程收敛性过程中使用的技术，考虑了一类外插邻近梯度算法的全局收敛性质；. 3.将外插邻近类算法应用于图像处理领域中，主要考虑了使用带有外插项的邻近梯度算法求解MRF图像去噪问题，结合外插邻近梯度算法与回溯线搜索以及非单调线搜索技术，设计了带有线搜索的外插邻近算法，分析了算法的收敛性质，进一步测试了不同的外插系数对于图像去噪的效果影响，数值结果显示，选择合适的外插系数可以有效地将图像还原。. 本项目的研究，发展了几类求解结构非凸优化问题的外插邻近类算法，考虑了几类二阶梯度系统的长时间行为，搭建了外插邻近算法与动力系统之间的关系，分析了外插算法与方程解轨道的收敛性，并且对求解图像处理等领域中的大规模优化问题具有一定的应用价值。