基于大规模张量分解的超高维数据结构化表示与分析方法研究

With the rapid growth of the social media and mobile Internet, large volumes of ultra-dimensional big data are emerging in various areas. How to effectively and efficiently represent the unstructured and complex ultrahigh-dimensional data in a structured and compressed manner is a crucial prerequisite, and still remains a challenge for big data analytics. This project aims to explore data representation and compression of complex big data using structured tensors, which will help to overcome the storage and computation bottleneck incurred by big data. To this end, by exploiting the nonlinear optimization techniques on matrix manifolds, we will investigate the sampling-based ultrahigh-dimensional Singular Value Decompositions (SVDs) that are involved in the large-scale high-order tensor decompositions. Via this scheme, both the storage and computation complexity of SVDs can be greatly reduced, and it will significantly speed up the tensor decomposition process. Based on this, we will investigate adaptive tensor representation for big matrices by exploiting sparse representation techniques. In this way, we can easily address the challenges in determining the order and sizes of the tensor to be constructed. Lastly, based on structured tensor representation models, we will study optimization methods on structured tensor manifolds, and apply them to big tensor recovery problems. This research is expected to enrich the theory of machine learning and data mining, and provide useful algorithms and techniques for big data analysis.

由于社交媒体和移动互联网发展，大规模超高维复杂数据出现于诸多场合。如何对非结构化的复杂超高维数据进行有效地结构化表示和压缩存储，是解决诸多大数据挑战的必要前提。本项目旨在探索和利用张量模型对超高维复杂数据进行结构化表示，以期大幅降低数据存储和后续计算复杂度。为此，本项目拟采用矩阵黎曼优化方法，研究基于数据采样的超高维矩阵低秩SVD分解，以解决大规模高阶张量分解中引入的超高维矩阵SVD分解问题，大幅降低张量分解算法的内存要求并有效提升张量分解速度。在此基础之上，研究基于稀疏表达的超高维矩阵自适应张量结构化表示，以解决张量阶数和大小难以确定的问题。基于张量结构化表示模型，本项目将研究基于结构张量流形的非线性优化算法，并将其应用于大规模张量恢复问题中。项目相关研究成果有望在一定程度上丰富机器学习和数据挖掘的相关理论研究，同时为大数据分析提供了一些算法和技术支持。

随着移动互联网科技和社交媒体的快速进步以及人类生活方式的不断智能化，现有大数据呈现多样性、动态性和超高维特性，导致了难以对非结构化的复杂超高维数据进行有效地结构化表示和压缩存储，并限制了诸多大数据算法的有效应用。本项目主要研究了快速高阶张量分解算法，针对大规模高阶张量分解中引入的超高维矩阵SVD分解问题，提出基于Stiefel 流形的非线性黎曼共扼梯度下降方法，通过交替更新子矩阵U和V，并在实现快速收敛速度的同时保留U的正交性，以解决非负矩阵分解问题，进而大幅降低数据存储和相关计算复杂度。基于稀疏表达的超高维矩阵自适应张量结构化表示，为解决张量阶数和大小难以确定的问题，课题组提出了一种稀疏的异构特征表示（SHFR）方法，通过探索HDA多个类别间的普遍潜在结构学习HDA的稀疏转换，提出了一种批处理模式追踪算法，有效解决了SHFR的非负LASSO问题，大大提高了LASSO 问题的求解速度，为稀疏重构在大规模数据上的应用提供了坚实的基础。基于张量结构化表示模型，本项目针对大规模矩阵缺失值恢复和填充问题，提出了基于矩阵黎曼流形的大规模矩阵优化恢复算法，通过逐步增加待恢复矩阵的秩并在固定秩的矩阵黎曼流形上优化核心子问题，因此每次只需要求解较小规模矩阵的矩阵流形优化问题，克服了传统算法需要多次进行复杂奇异值分解以及参数难以选取的缺点，有效提升了矩阵恢复速度和精度。本项目项目相关研究成果在一定程度上丰富机器学习和数据挖掘的相关理论研究，同时为大数据分析提供一些算法和技术支持，项目所提出的算法能广泛应用于大用户推荐系统、数据挖掘、机器视觉等领域。