深度结构的子空间学习模型及其收敛性与鲁棒性

Subspace Leaning is to learn the low instrinsic structure from the high dimensional space. Subspace learning algorithms have been used in many fields, such as computer vision, pattern recognition. However, almost all exsiting alg orithms are based on the shallow structure,which captures low-level concepts and simple invariances. The expressive capability of a complex fucntion is limited with the shallow structure and the classification genelization is restricted. In our projection, deep structure will be incorporated into subspace learning algorithms and the hierarchies of feature representations can be got so that high level invariant feature can be obtained. The projection will focus on the following problems: how to consturct the deep structure for subspace learning? such as hierarchical PCA, hierarcical LLE. How to use the sparse method to learn the local structure of subspace with deep structure? How to analyze the convergence of subspace learning algorithm with deep structure by using DDT method and establish the foundation theories of the convergence? How to use the autoencoder to learn the robust feature and prove their robustness and establish the foundation theories of the robustness? The projection will construct the deep subspace learning model and establish the fundamental theory of their convergence and robustness. The results of the projection are significant for the practical applications.

子空间学习是指从高维空间中学习隐含其中的低维本质结构。子空间学习已被广泛应用于计算机视觉、模式识别等领域。然而，当前大多数子空间学习算法都是基于浅层结构，获得输入数据的直接特征表示，对有限样本情况下复杂函数的表示能力有限，对复杂分类问题其泛化能力受到制约。本项目把深度结构引入到子空间学习中，逐层学习输入数据的层次特征表示，以获得更高水平的不变特征。该项目重点研究如何构建子空间学习的深度结构，如深度结构的PCA, 深度结构的LLE；采用稀疏编码理论来改善深度结构子空间的局部结构保持问题；采用DDT方法来分析深度结构下子空间学习算法收敛性，建立相应的理论基础；采用自动编码器用于隐含层的鲁棒性学习；用统计分析工具来分析证明算法的鲁棒性，建立深度算法鲁棒性的理论基础。本课题将建立深度结构子空间学习模型，完善深度子空间学习算法的收敛性和鲁棒性理论基础。所做工作对实际工程应用有重要的指导意义。

子空间学习是指从高维空间中学习隐含其中的低维本质结构。子空间学习已被广泛应用于计算机视觉、模式识别等领域。然而，当前大多数子空间学习算法都是基于浅层结构，获得输入数据的直接特征表示，对有限样本情况下复杂函数的表示能力有限，对复杂分类问题其泛化能力受到制约。本项目把深度结构引入到子空间学习中，逐层学习输入数据的层次特征表示，以获得更高水平的不变特征。.该项目主要研究内容有：深度结构子空间学习算法的收敛性问题、深度学习下的稀疏子空间学习方法、流形局部结构保持的表达学习方法和深度学习下的流形聚类算法、关于深度结构RBM的表达学习和深度学习下的生成方法。在子空间学习算法的收敛性分析、深度结构的RBM表达学习研究、流形局部结构保持的表达学习方法、深度学习下的稀疏子空间学习方法、深度学习下的生成学习方法、深度学习下的流形聚类算法等方向发表论文20余篇。研究成果具有较高的理论意义和实用价值。