协方差结构分析中的特征值问题的理论和算法

Analyzing the structure of covariance matrices, is an important and difficult problem in multivariate statistical analysis. Principal component analysis(PCA) and canonical correlation analysis(CCA) are two important models in this area. Either of them can be finally transformed to a linear algebraic eigenvalue problem, which is one of the central tasks in the research on numerical linear algebra. This topic has substantial background and extensive prospect in practical applications, and hence recently it becomes a hotspot in data science both domestically and internationally. However, till now the current research tools almost come from statistics and data science and hardly originate in computational mathematics, especially numerical linear algebra. In this project, we propose to make research on this topic in a numerical linear algebra view, and work on these three threads: 1) consummate the theoretical analysis of the classical method for PCA and the convergence analysis of the Oja-type streaming algorithm for PCA; 2) build the theoretical analysis of the classical method for CCA; and 3) develop the classical and Oja-type streaming algorithms for CCA and complete their convergence analysis. Finally the project would produce a numerical linear algebra framework to analyze PCA and CCA, and a package to solve the two models.

对协方差矩阵的结构进行分析，是多元统计分析的重点和难点．这一方向的两类重要模型是主成分分析和典型相关分析，二者归根结底都可以转化为线性的代数特征值问题，而这正是数值代数领域的研究核心之一．这一方向有着明确的应用背景和广泛的应用前景，是目前国内外数据科学领域的研究热点．但截至目前，现有研究手段大多来自于统计学和数据科学而鲜见计算数学尤其是数值代数方向的工具．本项目拟从数值代数的角度对问题进行深入研究，主要从以下三个方面开展工作：完善求解主成分分析模型的经典算法的理论分析和Oja类型的流算法的收敛性分析；建立求解典型相关分析模型的经典算法的理论分析；发展求解典型相关分析模型的经典算法和Oja类型的流算法，并对两类算法进行收敛性分析．本项目将最终形成一套从数值代数角度针对主成分分析模型和典型相关分析模型的分析框架和一套求解这两类模型的程序集或软件包．

代数特征值问题是数值代数领域的研究核心之一。主成分分析和典型相关分析是多元统计分析中对协方差矩阵的结构进行分析的两类重要模型，二者归根结底都可以转化为线性的代数特征值问题。本项目从数值代数的角度结合概率论和随机过程的思路对问题进行了深入研究并加以拓展，研究集中在如下四个方面。.一、完善求解主成分分析模型的经典算法的理论分析和Oja类流算法的收敛性分析：证明了只要在迭代中选择合适的学习率选取策略，Oja类算法在次Gauss分布中的近最优性就可以改进为最优性；经典算法所得到的解的误差的期望的下界中有效噪声方差这一统计量可以改进为主成分与非主成分特征值的相对间隙；Oja算法过程可解耦并以此导出了Oja算法的免特征值间隙特征。.二、发展求解典型相关分析模型的Oja类流算法及其分析：扩展了之前仅能求解单个主成分的Gen-Oja算法使之能够求解多个主成分，并对算法进行了收敛性分析以及与相应求解主成分分析的Oja算法进行了比较；该算法的计算过程中避免了规范化和求逆，在一些数据集上具有较好的实验效果。.三、特征值问题的经典理论与算法的收敛性分析及其应用：给出了Hermite矩阵对的加权最小迹问题解存在的充分必要条件并证明了解存在时可表示为两个矩阵对的特征值的对应乘积的代数和；证明了LOBPCG算法的向量版本求解多项式特征值问题时有线性收敛性并给出了收敛率。.四、经典与随机代数Riccati方程的解的代数结构：通过对含随机过程的线性时不变系统的最优线性二次控制问题进行分析，得到了所导出的经典与随机代数Riccati方程的半正定解的闭形式，并利用其Toeplitz结构结合快速Fourier变换得到了一种稳健性好、计算时间可预测的全新算法。.本项目得到了一套从数值代数角度针对主成分分析模型和典型相关分析模型的分析框架，以及对应求解这两类模型的流算法的程序集；具体成效上，本项目产出SCI论文5篇，投稿2篇，培养博士研究生1名。.