若干与极小化Rayleigh商相关的非线性特征值问题的研究

Minimizing or maximizing the (generalized) Rayleigh quotient over a single Stiefel manifold is equivalent to solving the traditional extreme (generalized) eigenvalue problem. In recent applications from the factor analysis in statistics, the multi-view spectral clustering analysis in data mining, the pattern recognition and signal processing, several new but very important problems concerning optimizing the Rayleigh quotients arise. All of these problems can be formulated as minimizing or maximizing a single or the sum of a couple of (generalized) Rayleigh quotients over one or the product of multiple Stiefel manifolds. Interestingly and most importantly, all these problems can be casted as particular nonlinear eigenvalue problems. The resulting nonlinear eigenvalue problems are essentially different from the traditional polynomial eigenvalue problem in the sense that either the relevant matrices here are dependent nonlinearly on desired eigenvectors rather than the eigenvalues, or the desired eigenvalue turns out to be multivariate. This projects aims at 1) establishing relevant and useful theoretical results, 2) developing highly efficient and fast algorithms especially for large scale problems; in particular, we will primarily employ the Rayleigh-Ritz procedure to develop corresponding Krylov subspace methods, the Local Optimal Preconditioning Conjugate Gradient method (LOPCG) and the Jacobi-Davidson method, and finally 3) applying these theory and numerical algorithms to tackle the related practical applications.

极小化（广义）Rayleigh商等价于极小（广义）特征值问题。近年来，在因子分析，多视角谱聚类分析，模式识别及信号处理等应用领域产生了若干新型的与Rayleigh商极小化相关的问题。这几个问题可统一地表述为在一个或多个Steifel乘积流形上优化单个或多个Rayleigh商之和的问题，这些问题进一步可等价为特定的非线性特征值问题。不同于传统的非线性特征值问题，这类特征值问题对应的矩阵或者是非线性地依赖于所求的特征向量而非特征值，或者所定义的特征值为多变量形式。本项目致力于研究这类问题的理论性质，建立适合大型稀疏问题的高效算法，着重利用Rayleigh-Ritz投影过程建立相应的Krylov子空间方法，局部最优共轭梯度方法以及Jacobi-Davidson算法，最后编写软件包实现新算法，开展数值试验与模拟，并应用解决相应的实际问题。

近年来，在正交约束和锥约束等特殊约束下，极小化（广义）Rayleigh商及其变形形式，在因子分析，多视角谱聚类分析，模式识别及线性互补问题等应用领域中经常出现，由此产生了若干新型的与Rayleigh商极小化相关的问题。本项目以正交典型相关性问题、多视角下的谱聚类分析、多个Rayleigh商和的极大化等几个具体为引导，主要思路是建立与相应非线性特征值问题的联系，并由此借用传统特征值计算问题的有效计算技巧、方法和思想，给出高效的计算方法和理论分析。特别地，在与Rayleigh商优化相关的特征向量依赖的非线性特征值问题上，对.（第一部分）由Rayleigh商优化导致的特征向量依赖的非线性特征值问题的研究，.（第二部分）与Rayleigh商优化相关的数据降维中的非线性特征值问题的应用，.（第三部分）对称锥上Rayleigh商优化导致的特征值问题及其子空间方法的研究，.等三个部分，发表了20篇相关论文，编制了相关算法的程序实现，取得了理论、计算、和应用方面的有意义的研究成果。特别地，对第一部分，我们在《SIAM J. Matrix Anal. Appl.》的成果，对一般特征向量依赖的非线性特征值问题，建立了相应自洽场迭代的拟最优收敛理论；对第二部分，我们在《IEEE TPAMI》上的成果，对正交约束的典型相关分析的降维模型，建立了相应的非线性特征值问题以及自洽场迭代，在《SIAM J. Matrix Anal. Appl.》中，对数值代数、优化中的经典的非均衡Procrustes问题建立和一个非线性特征值的等价性，并提出了一种新颖有效的自洽场迭代；对第三部分，我们在《SIAM J. Matrix Anal. Appl.》，《SIAM J. Optim.》，《SIAM J. Sci. Comput.》中分别对一个二阶锥约束上的Rayleigh商优化和信赖域子问题给出了相应的Krylov子空间方法以及收敛性分析。