一类基于张量分解的机器学习算法的统计渐近性质的研究

In recent years, tensor-based methods are attracting more and more attentions in the domain of machine learning. In particular, researchers have found out that a number of different latent variable models, including Hidden Markov Chain Model, Latent Dirichlet Allocation, Independent Component Analysis etc., can all be incorporated in a unified framework, in which the problem of parameter estimation can be solved via orthogonal decomposition of symmetric tensors. This project aims at studying the asymptotic performance of these tensor-based methods. Specifically, we intend to study the asymptotic normality and derive an analytic expression of the asymptotic error of the tensor power method and the diagonal maximization method, in the case of third and fourth-order tensor. Based on this result, we then compare in various practical scenarios the performance of the studied tensor based methods with the existing non-tensor-based ones. If time permits, we will further explore the case of higher-order tensor, expecting to obtain some similar asymptotic results.

近年来基于张量（高维矩阵）的方法在机器学习领域中越来越受到重视。人们发现许多隐变量模型--包括隐马尔科夫模型（HMM），隐含狄利克雷分配模型（LDA），独立成分分析（ICA）等--都可以被一类基于对称张量的正交分解的算法来求解。本项目意在研究这一类算法的渐近统计性质，具体的研究目标包括：.1.证明基于三阶及四阶张量的幂法及对角最大化算法的渐近正态性，推导这两种方法渐近方差的解析表达式；.2.研究改进幂法迭代，通过将Gram-Schmidt型正交化替换为Löwdin型正交化来解决前者固有的误差累进的问题。证明新算法的收敛性、稳健性并推导新算法的统计渐近误差；.3.比较基于张量分解的算法与其它现有算法在各种应用场景中的性能差异；.4.探索更高阶张量的情形下张量方法的渐近正态性及渐近误差。

我们研究了深度表示学习解决线性和非线性独立成分分析的问题并提出了ICAE算法。算法基于深度自动编码机的信号重构，目标函数为输入信号的重构误差为中间层表示各信号的kurtosis之和。我们验证了ICAE可以用来分离线性混合的信号，以及非线性PNL信号和非线性LQ信号，且对于未知维度的盲信号仍然可以对其识别。我们的研究成果发表在领域顶级会议2019年ICASSP上。..我们通过对最优传输理论、数值PDE、优化理论、随机逼近等多个领域进行交叉研究，合作完成了基于概率测度空间变分梯度流方法训练深度生成模型的工作。我们提出的新算法克服了经典生成式对抗网络训练的不稳定性，相应成果发表在2019年机器学习顶级会议ICML上。..基于L1凸松弛的模型是稀疏恢复的常用模型。统计学家的研究结果发现，基于凸模型给出的点估计，其统计性质没有非凸模型的好，但是非凸模型的求解是非常困难的。从而人们陷入了统计性质和计算效率之间的gap。我们在 ”close the gap between statistics and optimization” 方面做了一系列的探索。研究了L0模型及组稀疏L0模型最优解的存在性和KKT 条件，发展了快速求解KKT方程的梯度型和牛顿型算法，在一定条件下证明了所提算法算出解的Oracle统计性质，另外，所发展的算法不仅具有统计理论和计算效率的保证，同时在调节参数的选择上具有tuning free性。基于这些工作的总结和拓展，综述性文章 “A Unified Primal Dual Active Set Algorithm for Nonconvex Sparse Recovery”在（Review Journal） Statistical Science上接受发表。