快速稳定的统一主次子空间跟踪算法研究

Subspace tracking refers to online learning of meaningful low-dimensional structures from the high-dimension data. Unified algorithm for principal subspace and minor subspace tracking (PS and MS tracking), which is suitable for both principal subspace and minor subspace problem, is a research focus in subspace tracking field. Given the fact that fast and stable algorithm is prerequisite to meet the real time requirement in practical engineering, this research focuses on the basic theory and technical problems involved in fast and stable unified algorithm for PS and MS tracking. The major research contents are included in the following: fast and stable unified algorithm for PS and MS tracking is proposed by constructing the reasonable orthonormalization method to meet the orthogonality constraint; fast and stable unified algorithm for PS and MS tracking is achieved by using the methods of differential geometry in accordance with the geometrical structure of manifold; sufficient or boundary conditions for convergence and stability are set by establishing the analytical framework between the proposed algorithms and deterministic discrete time system. The result of this research is of great significance for both theoretical research and practical application.

子空间跟踪是指从高维数据中在线学习隐含其中的有意义的低维结构。统一主次子空间跟踪算法能够同时解决主子空间跟踪问题和次子空间跟踪问题，是当前子空间跟踪领域新兴的研究热点。为满足工程实际中实时性的需求，在主、次子空间跟踪中较难解决的算法快速性和数值稳定性问题，在统一主次子空间跟踪研究中更加突出，成为迫切需要解决的重点和难点问题。本项目为解决统一主次子空间跟踪算法的快速性和数值稳定性问题，针对其中涉及的基础理论和技术问题进行系统性和探索性的研究。具体内容包括：通过构造合理的标准正交化方法满足正交约束，实现快速稳定的统一主次子空间跟踪算法；基于流形几何结构和微分几何方法来实现快速稳定的统一主次子空间跟踪算法；建立所提算法与确定性离散时间系统之间的分析框架，给出具体的收敛与稳定的充分条件或边界条件。本课题的研究成果不仅具有重要的理论意义，对工程实际也具有潜在的应用价值。

本课题针对如何快速稳定地获取高维数据的低维特征子空间，同时排除外点和大量冗余信息的干扰，有效地获取高维数据的重要结构信息，在以下几个方面展开研究工作：1）提出了基于非贪婪 范数的二维主成分分析算法、分块主成分分析、对角主成分分析算法和张量主成分分析算法，获得了更加逼近全局最优的解和更为稳定的主子空间；给出了求解具有正交约束的非贪婪 范数最大化问题的一般解法；2）提出了基于 范数的增强局部保持投影算法，该算法的解稳定有效地反映了高维数据的低维局部几何结构。给出了求解具有正交性约束的 范数最小化问题的解法，并证明了算法的收敛性；3）提出了采用余弦距离准则的欧拉局部保持投影算法，该算法能够更加快速稳定地求解高维数据的低维几何结构，并收敛于全局最优；4）提出了一种采用余弦距离准则的欧拉正交线性鉴别分析算法，该算法获得了快速稳定正交的全局最优投影向量。给出了求解具有正交性约束的最大化比迹问题的一般解法；5）针对高光谱图像降维和特征提取问题，提出了加权空谱重构算法，该算法通过融合了高光谱图像的空间信息和光谱信息来调整像元间的相互影响程度，进而提升了算法的稳定性。上述算法在公开的人脸数据库、人造数据点以及高光谱数据库等数据库上做了充分的效果验证实验，并结合理论分析充分验证了算法的有效性。