回归框架下高维张量数据降维与协方差估计

This proposal is to study dimension reduction and regularized covariance estimation problems for tensor predictors in high-dimensional regression models. Based on the connection between tensor's multilinear subspace projection and Kronecker-product structured covariance, we shall propose a inverse covariance estimator for tensor data from penalized tensor normal likelihood. Modified Cholesky decomposition will be utilized to construct such penalized likelihood estimator, as well as to improve the existing dimension folding methods in tensor regression. The outcome of the project is expected to generate an interpretable covariance estimator, reduce computational complexity of dimension reduction methods and improve predictive accuracy in tensor regression. The proposed methods can be applied to solve prediction problems in imaging and business areas.

考虑高维回归模型下的总体推断与样本约简问题，一个关键点是自变量协方差逆矩阵的有效估计。本项目拟在回归框架下，研究高维张量自变量的多线性子空间降维与协方差正则估计方法。项目从多线性子空间投影与克罗内克积协方差结构的内在联系出发，拟使用张量正态分布的惩罚似然函数，进行高维张量的协方差逆矩阵估计；拟通过研究修正Cholesky分解在克罗内克积结构协方差估计中的应用，提出张量正态数据协方差的Cholesky正则估计方法，针对高维张量自变量的回归问题，改进现有充分降维多线性子空间估计的相关技术。预期本项目产生的结果，可以增加估计结果的解释性，降低计算的复杂度，提高预测的精准水平，应用于解决图像、商务信息决策等领域基于张量自变量的预测问题。

多元统计技术应用于高维数据回归过程，一个关键思想是对自变量进行线性子空间降维。然而，这些降维方法大多需要估计变量协方差矩阵及其逆矩阵。本项目研究的即是一种具有特殊形式的高维数据，称为张量数据的协方差的估计问题，目的是在可分性假设下，提出一种针对张量数据不同阶序的协方差阵的高效、稳定估计方法，以及其相关结构的探索性分析工具。.这一目标整体上可通过构造张量正态分布的惩罚似然函数实现，然而需考虑三个难点：第一、由于协方差矩阵似然函数的非线性与参数空间的正定限制，如将惩罚项直接设置在待估参数上，需要将半定规划算法嵌套于张量数据可分性协方差的分块松弛算法中，估计量稳定性与理论性质讨论成为其难点。第二、需设计一个合理的协方差矩阵惩罚函数，考虑矩阵相邻元素估计值的平滑性。第三、由于该方法的目标应用口径是探索性分析，计算负担需在可控范围。.围绕上述问题，本项目完成如下任务：.1. 深入研究了张量数据的协方差正则估计方法。使用张量正态分布的惩罚似然函数，提出张量正态数据协方差的Cholesky正则估计方法。.2. 通过使用了矩阵的修正Cholesky分解，对具有了克罗内克积结构的张量数据的协方差阵进行了重参数化，有效解决了该类问题参数空间的不可识别性、正定性等技术难点。将B-spline平滑思借鉴到协方差的粗糙性惩罚项的设计中，使结果在协方差阵对角线方向引入了更多的平滑性。.3. 本项目明确提出了一个探索多阶张量数据的各变量阶序的相关结构的方法，可与现有文献针对多阶张量数据的协方差矩阵结构的检验方法互为补充。.4. 本项目所给出的与序贯回归相结合的分块松弛算法，因规避了半正定算法，有收敛相对迅速等特点，预计有较好的扩展前景。.5. 本项目在带张量潜变量的降秩回归模型下，得到的因变量的相合、渐进正态的显式预测量。