数据处理中的迭代方法研究

The project aims at the study on the stochastic Newton-like methods and the iterative solvers to the corresponding linear systems arisen in data fitting. It studies the factors affecting the convergence speed of the stochastic Newton-like method in order to construct higher efficient stochastic one. For the corresponding linear system, it focuses on the iterative solvers and preconditioning techniques, and estimates the optimal convergence factors of methods. And it also focuses on the random iterative solvers for the linear systems obtained.

针对数据处理中所涉及的随机拟Newton方法的构造以及相应的线性系统的迭代方法展开研究。探讨影响随机拟Newton的收敛速度的因素，构建高效随机拟Newton方法；针对相应的线性系统，研究迭代方法及预处理技术，估计方法的最优收敛因子；研究线性系统的随机迭代方法。

围绕着研究内容，我们在以下三个方面取得进展，构建了具有较高效益的计算方法：（一）面向优化模型的确定性和随机性算法研究。针对图像的最小二乘重构问题谁求解，我们构建了在理论分析和数值实验中具有优势的带记忆的逐次最小二乘逼近方法、扩展的逐次最小二乘逼近方法、隐式随机逐次迭代逼近方法和松弛隐式随机代数重构方法；针对鲁棒部分二次特征值配置问题的求解，我们利用特征值扰动理论和复投影空间中度量相关理论构建了建立在矩阵空间上的优化模型，该模型使得相关梯度容易被表达，从而拟Newton法的实施变得方便；针对无约束问题的求解，我们构建了三参数方法，建立了确保方法收敛的参数范围，该范围包含了Heavy-ball方法的已知参数范围。（二）线性方程组的预处理研究。针对埃尔米特对称部分占优的复正定非埃尔米特对称线性方程组，通过进一步增强系数矩阵埃尔米特对称部分占优强度的办法，构建了修正的对称超松弛类预处理子，我们将看到即使埃尔米特对称部分占优性较弱时，预处理GMRES依然较快和有效；针对经典鞍点问题，我们提出了双参数移位分裂预处理子；针对一类对称和非对称的3×3块结构线性方程组，我们提出了一类非精确块因子分解预处理子构造的一般性框架，并采用了新的理论分析方法。（三）线性方程组的确定性和随机性块迭代方法研究。针对鞍点问题迭代方法的研究，我们发现在较弱条件下，相比于已知的结论，GSOR类和APIU方法的收敛性准则有着很大的不同；针对线性方程组最小二乘解的求解，我们通过改写随机双块Kaczmarz方法的格式，得到了新的收敛性准则，获得了更好的误差估计；基于贪婪准策略，构建了确定性的快速块Kaczmarz方法、确定性的快速块坐标下降方法和新的随机双块 Kaczmarz方法。