若干闭凸或非凸约束矩阵最小二乘问题的有效算法及应用研究

This project will study some matrix least squares problems under the condition number、Schattern-q norm and Stiefel manifold constraints, which come originally from covariance estimation, signal and image processing and linear systems and so on. Combining the matrix theory and the optimization theory together, meanwhile reducing both the computation quantity of algorithms and the complexity of the problems, the present research aims to design some efficient and stable algorithms to solve these relevant problems. The detailed research contents are listed as follows. 1) Establish the calculation of the projection onto the condition number constrained matrix set, and then design some effective algorithms and there acceleration schemes to solve the condition number constrained matrix approximation problems and associated matrix optimization problems. 2) Construct some partial inexact version of iteration methods to study the constrained matrix least squares problem with Schattern-q norm by using the combination of variable splitting and Bregman iteration. And tackle the subproblems generated by the variable splitting by linearizing or proposing some inexact inner iteration method with truly implementable inexactness criteria. 3) Present some feasible approach based on algorithms geometrical framework on the Stiefel manifolds, or design some splitting methods to study the matrix optimization problems with Stiefel manifold constraints. This is to be completed on the basis of the conclusion of Stiefel manifold, and starting from the search direction and the curvilinear search step.

本项目将致力于研究源于协方差估计、信号和图像恢复等领域中若干条件数约束、Stiefel流形约束及Schattern-q范数下的矩阵最小二乘问题。结合矩阵理论和最优化方法，基于变量分裂和等价转化，以降低问题复杂度为目的，构造高效稳定的数值求解算法。具体研究内容为：1）设计最少计算量的网格搜索算法求条件数约束逼近问题，并寻求基于投影或分裂的算法及可行加速策略研究相关条件数约束矩阵最小二乘问题。2)构造基于变量分裂的部分非精确迭代算法求解Schattern-q范数下的约束矩阵最小二乘问题。3）结合Stiefel流形基本结论，设计可行或不可行方法求解Stiefel流形约束矩阵最小二乘问题，从搜索方向及搜索步长入手寻求基于Stiefel流形几何框架的可行迭代算法、或设计基于变量分裂的不可行迭代算法。

项目结题共发表（含待发表）的期刊论文共18 篇，所发表的期刊包括《Advance Comput. Math.》, 《J Sci. Comput.》,《Numer. Linear Algebra Appl.》, 《Linear Algebra, Appl.》,《Linear Multi. Algebra》，《数学学报》，《计算数学》等，其中SCI 期刊共13 篇（中科院一区2篇，二区9篇），北大中心核心期刊5 篇；以该项目为依托的成果“约束矩阵方程及最小二乘问题的求解理论与算法”获2019年广西自然科学奖二等奖。项目执行期间培养硕士研究生10名，其中毕业6名，在读4名。项目申请人在该基金的资助下后续获得广西自然科学基金项目1项，和2019年广西高等学校千名中青年骨干教师培育计划项目1项，并于2019.02-2020.05在美国南伊利诺伊大学卡本达尔分校访学1年。本项目基本上是按项目的研究计划进行的，并对研究内容作了一些拓展，主要研究成果如下：. 第一、从黎曼优化的角度设计黎曼优化算法求解长方形矩阵广义特征值极小扰动问题。 结合矩阵理论，将问题转化为复Stiefel乘积流形上的矩阵优化问题，进而结合Stiefel流形的相关知识，包括切平面，切平面上的投影算子，黎曼梯度，收缩算子，向量转移等，设计黎曼非线性共轭梯度法、黎曼牛顿法和黎曼信赖域方法求解，并细致分析算法的全局收敛性，丰富的数值实验和数值比较验证了所提算法的有效性。. 第二、设计网格搜索算法和部分非精确交替方向法研究了条件数约束最佳逼近问题和条件数约束算法方程最小二乘问题。分析各类算法的收敛性分析，并进行大量的数值实验及数值比较。. 第三、研究了来源于多元统计的一类Stiefel流形约束矩阵迹函数极小化问题。基于Stiefel流形的几何性质，设计了黎曼非线性共轭梯度、黎曼牛顿法、黎曼信赖域方法以及三类流形优化不可行方法，数值实验和数值比较验证了算法的有效性。. 第四、研究了半张量积下矩阵方程组AXB=C的求解理论，利用半张量积的定义及基本性质，给出了矩阵-向量方程组及矩阵-矩阵方程组有解的充分必要条件，并通过Toepliz矩阵块矩阵及列拉直算子细致给出解的具体表达式。