高维回归模型中的交互作用识别问题

In the regression model, considering the interactions between the covariates is a natural extension of the linear model. Many real examples show that the interaction between the explanatory variables can help improve the model interpretability and the prediction. In the statistical analysis, there are many classical models involving the interaction, such as quadratic regression and quadratic discriminant analysis. Since the number of the interactions increase quadratically with the data dimension and the interactions have complex covariance structures, it is a challenging problem to deal with interactions for high dimensional data. In this project, we propose to study the the Hessian matrix of the regression function to conduct a sufficient dimension reduction for high dimensional regression model with interactions. The Hessian matrix describes the second order partial derivatives of the regression function and specially for the quadratic regression and the quadratic discriminant analysis, it relates to the regression coefficient matrix with the interactions. By studying the Hessian matrix, we derive the relationship between the regression coefficient matrix and a class of weighted covariance matrices. Under the sparse or low rank structure, we conduct consistent estimation and variable selection for high dimensional quadratic regression and high dimensional quadratic discriminant analysis. From the perspective of matrix to study high dimensional regressions with interactions, the resulting model will have good structures and model interpretability. The new methods will also be evaluated by the real applications in biomedical and other related areas.

在回归模型中考虑解释变量之间的交互效应，是对当前线性模型的自然延伸，很多实际数据也表明解释变量之间的交互效应的确能给应变量带来影响。交互效应模型在经典统计分析中有所研究，例如二次回归分析和二次判别分析等。由于交互项数量随着数据维度呈平方形式增长以及自身具有结构性，高维交互效应模型给当前统计分析带来很大的挑战。本项目拟从回归函数的海森矩阵出发，研究高维情形下交互效应模型的充分性降维问题。特别的对二次回归分析和二次判别分析，海森矩阵对应着模型中的交互效应回归系数矩阵。通过对海森矩阵的研究，建立回归系数矩阵和一类加权协方差矩阵之间的关系。从稀疏和低秩两种不同模型结构下构造出高维二次回归分析和二次判别模型的相合估计以及相关的变量选择方法。基于矩阵的角度来研究高维交互效应模型，所得结果将具有更好的结构性和可解释性，新的方法也将被应用到信息技术、生物医学等领域解决一些实际问题。

在高维数据分析中考虑非线性结构是对当前高维线性模型的一个自然延伸，本项目主要基于两种重要的充分降维方法CUME方法和PHD方法研究了高维非线性模型。项目主要研究内容包括以下几个方面: 1. 对于CUME方法，为了研究其如何拓展到高维情形，我们在一般情形下探讨了方法的理论相合性。在高维稀疏情形下，构造出对应协方差矩阵和降维矩阵在谱范数下的相合估计，从而把CUME方法推广到了高维数据情形。2. 基于PHD方法，我们研究了二次型回归模型。在传统的线性模型中引入交互项，对于处理复杂的数据分析问题，从模型解释性和预测效果上都能得到很大的提高。基于PHD方法的核心思想，在一定条件下,我们给出了二次型回归模型中参数的显示表达式。在高维稀疏情形下，构造了一个一步的LASSO估计，并且从理论上证明了方法的有效性，算法上基于经典的ADMM算法设计出了高效实用的算法，从而在较为一般的条件下解决了高维稀疏的二次型回归问题。3. 在CUME和PHD的工作基础上，我们研究了高维数据分析中重要的精度矩阵估计的算法问题。高维精度矩阵在很多统计问题中都扮演着重要的作用，现有的算法在处理高维数据时并不是非常高效。我们基于前期工作基础，充分利用统计中高维数据大p小n的特点，对于二次型损失类型的高维精度矩阵估计方法，重新设计了其ADMM算法，从算法复杂度上得到最优的算法。进一步的对于两个精度矩阵相减的差异矩阵，我们基于另一个经典的FISTA算法也给出一个复杂度上最优的新算法。对于大p小n的高维数据，这些算法相对于已有结果效率上都有很大提高，大大加快了相关统计问题中的计算速度。 .项目按照预期研究计划进行，发表了五篇高水平一作或通讯作者学术论文，在相关方向上都取得了一定的进展，得到国际同行的高度关注，为后续的科研找到了新的方向，对于高维复杂数据的统计分析做出了一定的贡献。