Stiefel流形上一阶优化算法的理论与应用

Optimization on the Stiefel manifold, which has wide applications in areas of science and engineering, is now a hot topic in the international optimization community. For manifold constrained problems, traditional optimization algorithms in the Euclidean space often have little success, while optimization algorithms on Riemannian manifolds use exactly the geometric properties of feasible regions to convert constrained problems into unconstrained problems. This project is devoted to the development of first-order optimization algorithms on the Stiefel manifold, including the gradient method and the conjugate gradient method. Retraction, which maps tangent vectors to the manifold smoothly with acceptable computational costs and consequently preserves manifold constraints for iterates, is a key technique in Riemannian optimization. The project plans to exploit approximation approaches to the matrix exponential such as rational approximations and subspace methods to construct new retraction-type constraint-preserving schemes and the corresponding differentiated-retraction-type vector transport formulae, and then to combine them with nonmonotone line search techniques or filter techniques to establish efficient and stable algorithms. In theory, we will analyze the computational complexity of iterative schemes, prove the global convergence properties of algorithms, and dig deep into the geometric properties of matrix exponential approximations. In numerical experiments, we will demonstrate the efficiency of the new algorithms by real application problems in science and engineering, such as linear eigenvalue problems, orthogonal matrix approximations, and electronic structure calculations, etc.

Stiefel流形上的优化是当今国际优化界的一个研究热点，它在科学与工程领域有广泛应用。对于流形约束问题，传统欧氏空间中的优化算法往往收效甚微，而黎曼流形上的优化算法恰好利用了可行域的几何特性将约束问题转化为无约束问题。本项目致力于发展Stiefel流形上的一阶优化算法，包括梯度法和共轭梯度法。回拉是黎曼优化的一个关键技术，它在可接受的计算成本下将切向量光滑地映射到流形上，从而使迭代保持流形约束。本项目拟利用矩阵指数的近似方法，例如有理逼近和子空间方法，构造新的回拉型保约束格式及其相应的回拉微分型向量运输公式，并结合非单调线搜索技术或滤子技术，建立高效稳定的算法。在理论方面，我们将分析迭代格式的计算复杂度，证明算法的全局收敛性，并深入挖掘矩阵指数逼近的几何性质。在数值实验方面，我们将通过科学与工程中的实际应用问题，例如线性特征值问题、正交矩阵逼近、电子结构计算等，证实新算法的有效性。

本项目致力于Stiefel流形上的一阶优化算法研究。Stiefel流形上的优化，或称正交约束优化，是当今国际优化界的一个研究热点，广泛应用于统计学、信号与图像处理、深度学习、电子结构计算等领域。Stiefel流形是由正交约束矩阵组成的一种特殊黎曼流形。由于流形的非线性与非凸结构，传统欧氏空间中的优化方法无法有效求解黎曼流形上的优化问题。但利用黎曼几何的内蕴方法，可将黎曼流形上的优化问题视为无约束优化问题。拉回是黎曼优化的一项关键技术。它是黎曼指数映射的一阶近似，可将切向量映射到流形上某一点。指数映射对应于测地线，虽有很好的几何性质，但在一般情况下不便于数值计算。基于数值线性代数技术，能在某些具体流形上构造出简单的拉回公式。特别地，在Stiefel流形上有基于QR分解、极分解、Cayley变换的拉回公式。我们主要做了以下三个方面的工作。第一项工作关于Stiefel流形上的共轭梯度法。我们提出了两种新的基于Cayley变换的向量迁移。它们均满足Ring-Wirth非扩张条件，而且其中一种还是等距迁移，弥补了基于QR分解和极分解的向量迁移的理论缺陷。同时，新的向量迁移保持了经典方法的计算复杂度，特别地在低秩情形有O(np^2)复杂度的简化变形。此外，我们将欧氏空间中的非单调共轭梯度法推广到一般黎曼流形上，并证明了全局收敛性。该工作已发表于Comput Optim Appl。第二项工作是矩阵指数及其逼近在Stiefel流形优化问题上的相关理论。我们探索了矩阵指数与Stiefel流形上的黎曼指数映射与拉回的关系，并提出了一种基于矩阵指数Pade逼近的新拉回。针对稀疏高秩问题，我们将新的拉回映射与Krylov子空间方法相结合，开发出一种高效的梯度型迭代格式。该工作已发表于Optim Lett。第三项工作关于一般黎曼流形上基于逆拉回的共轭梯度法。我们将向量迁移替换成逆拉回，修改了黎曼流形上的Wolfe条件，证明了Fletcher-Reeves和Dai-Yuan共轭梯度法的全局收敛性。我们也探讨了Stiefel流形上逆拉回映射的实施细节，包括现有的逆正交拉回、逆QR拉回，以及新提出的逆Cayley拉回公式。该工作目前仍在研究中。