有限内存拟牛顿法研究

拟牛顿法是解决非线性优化问题的重要方法之一。BFGS方法是公认的拟牛顿法中最有效的一个方法，而有限内存的BFGS方法（L-BFGS）是在其基础上设计的求解大规模非线性优化问题的高效方法。本项目拟针对L-BFGS方法的全局收敛性以及局部收敛速度开展算法理论的研究工作，主要研究内容包括：(1)研究目标函数为m维函数时，m个(s_i,y_i)曲率对的L-BFGS方法的局部收敛速度;(2)研究目标函数为有m个不同特征值的n维函数时，L-BFGS方法的局部收敛速度。（3）对于一般凸问题，L-BFGS方法的局部收敛速度，以及非凸问题的有限内存的BFGS方法的算法设计。对于L-BFGS方法的研究一直是热门研究方向，本项目对于这一问题的探讨角度十分新颖且意义深刻。因此，开展本项目的研究可以获得国际领先的科研成果并丰富我国在非线性优化理论领域的研究内容。

本项目是大规模非线性优化问题的有限内存BFGS方法的收敛性理论研究。本项目的完成情况及取得成果如下：.1、.数值试验。.分别设计数值试验，利用有限内存BFGS（L-BFGS）方法求解随机生成的凸二次规划问题，其中测试问题分为两类(1) 目标函数为m维函数，算法为使用m个(s_i,y_i)曲率对的L-BFGS方法;(2)目标函数为最优解处有m个不同特征值的n维函数时，算法为使用m个(s_i,y_i)曲率对的L-BFGS方法。.2、.数值结果.数值试验结果表明，算法在求解两类问题时都表现出了二次终止性，并且接近最优解时算法表现出超线性收敛性。据此，我们推测L-BFGS具有局部超线性收敛性。.3、.理论结果.通过研究以往拟牛顿方法的收敛性结果及理论证明，我们发现，如果能够证明L-BFGS方法求解前两类问题的具有局部超线性，那么也很有可能能够证明出求解一般凸问题的L-BFGS方法的局部超线性收敛性。.具体的，我们试图得到步长为一的L-BFGS方法的局部超线性收敛性的理论证明。证明的要点和难点在于证明出算法生成的近似矩阵B_k可以逼近真实的二阶Hessian矩阵，或者证明在s_k方向上B_k可以逼近真实的二阶Hessian矩阵。目前我们已经有了证明的初步结果，并在对结论进行整理中。