非线性降维与聚类中的几个问题研究

This integrated project studies some problems in nonlinear dimension reduction and clustering, including model setting up and purification of graph matrices, and related efficient numerical algorithms; applications of purification models and algorithms of graph matrices in subspace learning and nonlinear dimension reduction; redundancy removal and sparsity requirement in linear discriminant analysis (LDA); Kernalized LDA (KLDA) for linearly in-discriminant data; the nonlinear eigenvalue problems and eigenvalue optimization problems from trace ratio model of LDA and KLDA. This project emphasizes the role of numerical linear algebra for data analysis, deepens the understanding for existing models and algorithms, improves their efficiencies, and brings new research topics for the field of numerical linear algebra.

本集成项目研究非线性降维和聚类中的几个问题，包括数据整理阶段的图关系和图矩阵的建立与纯化模型、高效算法；图关系纯化模型及算法在子空间学习及非线性降维中的应用；使用线性判别分析(LDA)之前的去除冗余及判别的稀疏性要求；使用LDA进行判别或聚类时的线性不可分判别的核化判别分析（KLDA）；由LDA迹比率模型导致的非线性特征值问题和特征值优化问题的理论和算法。本项目侧重从数值代数的观点来研究数据分析中的问题，加深对现有的模型及优化算法的理解，改善他们的性能，并给数值代数领域带来新的研究课题。

1、.对于无噪音子空间学习，我们提出了最小样本子空间（MSS），分析了MSS的数学性质、可检测性；给出了检测的模型及多个迭代算法。对于有噪音子空间学习，我们给出了三个算法：稀疏-秩平衡算法很好地平衡了其表示矩阵的稀疏性与低秩性，谱反馈优化模型可以显著提高现有其它五种学习方法效果；优化模型SFRM可以用来学习大规模子空间。.2、.对于图矩阵的聚类性纯化，我们提出了一个以提升聚类性为目的的图矩阵纯化模型，具有显式稀疏性、类数低秩性、非负和半正定性等结构；给出了求解该模型的迭代算法，该算法具有最优计算复杂度；该图矩阵纯化算法显著地提升了子空间学习、非线性流形降维、多视角学习等多个算法的计算精度。.3、.对于迁移学习，我们提出了区域适配方法DACoM, 有效地缓解了因标签数据匮乏而导致的学习困境，提升了学习的有效性和准确性；可以实现并行计算；在多组模拟数据及实际数据上DACoM均呈现出显著的优势。.4、.我们提出了分割流形上两类非聚集性点集的新颖方法，这是一个分割两类点集的最优主分界子流形。我们给出了一个新的数值算法，并证明了局部上，得到的结果与经典的SVM的结果相一致，这比传统的非线性SVM分类方法更具有解释性和合理性。.5、.对于依赖于特征向量的非线性特征值问题，我们给出了解存在唯一的一个充分条件，给出了自洽迭代法收敛的局部线性收敛及二阶收敛的充分条件。对于电子结构计算中的Kohn-Sham方程以及基于判别分析的迹比率模型中的非线性特征值问题，此结果比原有的结果更为精细、精确以及实用，计算效率、分类效果均得到显著提升。.6、.对于特征值优化问题，我们系统地开展了其代数性质的研究，基于这些理论分析结果，我们给出了多个高效算法。该项研究不但为特征值优化问题提供了高效算法，也为数值代数领域开辟了一个新的研究方向。..项目成果发表于相关领域的顶级杂志上，包括JASA, J. Machin Learning Research, IEEE Trans. Pattern Anal. Machine Intell., SIMAX, SIOPT, SISC等