共轭梯度法新算法及其推广

Conjugate gradient method is widely applied in image reconstruction, optimal control and prediction of atmospheric fields because of its advantages of low memory requirements. With the development of computer, in many application fields, there are more and more variables, more complicated structure and large number of constrains..This brings us new challenges in designing new conjugate gradient algorithms. This project aims to design new conjugate gradient algorithms with some optimal property and generalize them to smooth box-constrained, nonsmooth unconstrained and box-constrained optimizations. ..We mainly study: (1) To design a new conjugate gradient algorithm, which search direction satisfies the angle between conjugate gradient direction and negative gradient is the smallest, and other conjugate gradient algorithms with other optimal property based on some optimal Quasi-Newton methods.(2) To study the conjugate gradient method as a special subspace method. And to design new subspace minimization conjugate gradient method. Combine it with non-monotone Barailai-Borwein technique to accelerate its efficiency. (3) To generalize these algorithms to smooth box-constrained, non smooth unconstrained and box-constrained optimization problems.

共轭梯度法因其存储需求小的优点被广泛的应用于图像重构、最优控制以及大气预测等诸多领域。随着计算机的发展，在诸多应用领域经常出现未知量越来越大，结构越来越复杂，约束条件数量庞大的大规模光滑的和非光滑的优化问题。这使得我们对共轭梯度算法的设计提出了新的要求。本项目主要目标是设计最优意义下的共轭梯度法新算法以及新算法从无约束到盒子约束、从光滑到非光滑的推广。..具体的主要研究：（1）从共轭梯度方向同负梯度方向的夹角最小出发设计该意义下最优的共轭梯度算法，以及借鉴其他最优性质的拟牛顿法来设计其他最优意义的共轭梯度算法；（2）从子空间的角度研究共轭梯度法，设计子空间极小共轭梯度法，并结合非单调Barzilai-Borwein技术，自适应的将子空间和非单调技术结合来加速算法的效率；（3）将上述光滑的无约束优化算法推广至盒子约束问题以及非光滑的情形。

共轭梯度算法是上个世界经典的十三个数值算法之一，其计算量小，存储需求小的特点被越来越多的人所关注，用于求解图像处理、大数据分析等中的大规模优化问题。本项目主要目标是设计用于大规模问题求解的共轭梯度法新算法以及推广至带约束的优化问题求解。.本项目主要研究优化算法的设计，提出了如下两个算法：基于子空间方法，将子空间思想同共轭梯度算法结合，加入了Barzilai- Borwein技术来加速算法，提出了一类Barzilai- Borwein共轭梯度算法。证明了方法的理论收敛性，数值实验演示该类算法是求解大规模问题的一个有力工具； 对带有一般非线性等式约束的优化问题，提出了一个柔性罚函数的增广拉格朗日方法，该方法能有效避免罚因子趋于无穷大的缺陷，同时避免了约束不相容问题。证明了该算法的理论收敛性，同时数值实验实现能够处理Lancelot软件不能求解的很多难问题。本项目同时将提出的新算法编程实现可以方便调用的算法包，供学者和工程师使用。.本项目立足于数值算法的设计和算法的编程实现，所取得的研究成果具有很强的科学意义和实用价值。首先，提出的BB共轭梯度新方法对大规模优化算法的研究以及应用都是一个重要的研究结果。其次，我们提出的柔性罚函数的增广拉格朗日方法研究也是一个开创性的工作，对约束优化问题的求解有一定的促进作用。此外，新的算法都发布了相应的算法包，这对最优化方法在实际应用中起到了积极的推动作用。