非线性最小二乘问题算法及应用

非线性最小二乘问题是一类非常重要的问题，广泛存在于许多的实际应用领域如气象，保险，期货交易和数据挖掘的数据拟合中。本项目中，我们致力于构造求解这类问题的有效算法，同时分析这些算法的收敛性质。首先研究求解光滑非线性最小二乘问题的分解形式的结构化拟牛顿法的全局收敛性，构造新的结构化拟牛顿法。其次，我们构造有效的光滑化的投影梯度型算法和非线性共轭梯度束型(bundle)算法，在此基础上，研究更一般的子空间方法以求解一类大型并可能非光滑和病态的非线性最小二乘问题，并研究这些算法的收敛性质，通过数值计算验证这类算法的实际效果。再次，我们探讨无限维Hilbert空间中带约束的非线性最小二乘问题的解的存在性和唯一性，通过有限差分或者有限元或者径向基函数逼近，给出该问题离散形式的误差估计公式。最后，我们将这些结果应用到工程和经济中，解决一些实际问题，如：曲面拟合问题，随机的非线性互补问题等。

本项目主要研究了求解非线性最小二乘问题和非线性优化问题的几种数值方法及其应用。主要结果如下：（1）提出了一种求解非线性最小二乘问题的新的杂交的Gauss-Newton结构化BFGS方法并证明了该方法不仅具有全局收敛性，而且对零残量问题具有二次收敛速度，对非零残量问题具有超线性收敛速度；（2）提出了一种求解非光滑优化问题的光滑化非线性共轭梯度法并证明了其全局收敛性，即迭代序列收敛到Clarke稳定点，此外，该方法被成功应用于图像处理领域；（3）提出了一种非单调的二阶Armijo型线性搜索，并证明了修正的LM方法在该搜索下求解非线性方程组的全局收敛性和较弱的局部误差界条件下的三次收敛速度；（4）提出了一种非单调的后退型线性搜索，该搜索不管搜索方向是否下降都是适定的。此外，我们证明了标准PRP方法在该搜索下求解非凸问题具有全局收敛性;（5）本项目到结题止共发表8篇学术论文，全部被SCI检索，其中两篇发表在相关领域的顶级期刊上。