大规模优化的近似最优梯度法和有限内存共轭梯度法研究

Large scale optimization is a subject widely emerged in these fields such as oil exploration, atmospheric simulation, aerospace, and so on. Since large scale optimization problems have a lot of decision variables and complicated structure, the storage cost and computational cost in the process will enjoy a sharp increase, which will destroys seriously the computational efficiency of the corresponding optimization methods. As a result, research on simple and efficient optimization methods for large scale optimization is a hot topic in the optimization field.. Due to the simple iterations, low storage costs and good numerical effects, gradient methods and conjugate gradient methods have become important first-order methods for solving large scale optimization problems. In the project we will focus on: (1)For the difficulty in the process of determining the stepsize for gradient method when the curvature is negative, we study quadratic or nonquadratic approximation models of the objective function at the current iteration and explore a class of gradient methods with approximately optimal sizes for large scale optimization. (2)For the problems about orthogonality in conjugate gradient methods, we explore the orthogonality conditions for the cases of nonquadratic functions and nonexact line searches, which will be integrated into the search directions and used to prevent the loss of orthogonality, and use quasi-Newton methods in small dimensional subspace for nonconvex optimization to explore a strategy for restoring the orthogonality. We propose a class of limited memory conjugate gradient methods and study the convergence. . The project aims to enrich the research results of gradient methods and conjugate gradient methods, and to promote the developments of large scale optimization theory and algorithms.

大规模优化问题广泛见于石油勘探、大气模拟和航空航天等领域。由于其决策变量多且结构复杂，求解过程中计算量和存储量会急剧攀升，使计算效率受到严重影响。因此，研究求解大规模优化问题简单而又高效的优化算法一直都是优化领域的研究热点。. 梯度法和共轭梯度法具有迭代简单、存储成本小和数值效果好等优点，是大规模优化中重要的一阶方法。本项目主要研究及创新为：(1)针对负曲率情形下，有效选取梯度法的步长比较困难的问题，研究目标函数在迭代点的二次或非二次近似模型，提出快速的近似最优梯度法；(2)针对共轭梯度法中预防正交性丢失和恢复正交性的问题，首先探索非二次情形和非精确线搜索条件下的正交条件，研究预防正交性丢失的策略，然后再使用小维子空间上非凸优化的拟牛顿法恢复正交性，提出高效的有限内存共轭梯度法并研究其收敛性。. 本项目旨在丰富梯度法和共轭梯度法的成果，推动大规模优化理论与算法的发展。

大规模优化问题广泛见于石油勘探、大气模拟和航空航天等领域。由于其决策变量多且结构复杂，求解过程中计算量和存储量会急剧攀升，使计算效率受到严重影响。因此，研究求解大规模优化问题简单而又高效的优化算法一直都是优化领域的研究热点。. 梯度法和共轭梯度法具有迭代简单、存储成本小和数值效果好等优点，是大规模优化中重要的一阶方法。本项目主要研究内容为：(1)结合目标函数在迭代点的二次或非二次近似模型，研究快速的近似最优梯度法；(2)研究快速的子空间极小化共轭梯度法，并研究能有效预防正交性丢失和恢复正交性的有限内存共轭梯度法。 .经过2年的科研攻关，我们取得以下研究成果：. (1)针对负曲率情形下，有效选取梯度法的步长比较困难的问题，研究目标函数在迭代点的二次或非二次近似模型，提出了快速的近似最优梯度法；(2)将基于二次模型的子空间极小化共轭梯度法推广到非二次模型，提出了四种子空间极小化共轭梯度法。(3)正交性是共轭梯度法重要的性质，对其数值性能有较大的影响。 我们在 Dai-Kou 共轭梯度法的基础上，使用检测条件判断正交性是否失去，当正交性失去时，设计一种新的拟牛顿法来恢复正交性，提出有限内存 Dai-Kou 共轭梯度法 CGOPT(2.0)，并在不增加新假设的条件下分析其收敛性。与当前最优的有限内存共轭梯度法 CG_DESCENT(6.8)相比，CGOPT(2.0) 迭代形式更简单，理论更好和数值效果更优异。. 本项目的研究将丰富梯度法和共轭梯度法的成果，推动大规模优化理论与算法的发展。