带潜变量高维模型的统计推断

This project aims to carry out in-depth and systematic research on the joint model with latent variables. We focus on providing variable selection and hypothesis testing for high-dimensional regression models with latent variables simultaneously. Little literature are found on this subject, but it is valuable in application. There are three important and difficult problems involved in this project. First, how to estimate the latent variables better. Second, how to measure the distance between the latent variables and the covariates of interest. Here the latent variables may be multi-dimensional, while the covariates is high-dimensional or even ultrahigh-dimensional. Third, for the given measure, how to construct a statistic to make it applicable for high-dimensional problems. The methodology and theoretical results are discussed on these three issues. An efficient estimators of latent varibales are proposed, and using them as responses to select important covariates and hypothesis test. Under high-dimensional setting, we will explore the asymptotic properties of the statistics, and develop algorithms based on R language. Finally, the methods are applied to biological and image data to assess the efficiency. This project provides efficient methods and supports in real data analysis.

本项目拟对带有潜变量的联合模型进行深入、系统的创新性研究,提出对高维含潜变量模型的变量选择和假设检验方法.对这类问题的研究比较少见,但是具有很好的实际应用价值.此问题主要涉及三个重要的难点问题:(1)对含有潜变量的模型,如何将潜变量更好的估计出来; (2)如何衡量潜变量与自变量之间的距离,在这里潜变量的维度可能是多维的,而自变量的维度是高维甚至超高维;(3)对于选定的距离指标,如何构造统计量使其适用于高维问题.本项目将对这三个问题提出新的统计推断方法和理论.首先,针对潜变量的估计提出有效的估计方法,并将得到的潜变量与自变量之间进行变量筛选和假设检验.在高维模型下,探究所提方法的渐近性质,同时开发基于R语言的程序算法.最后,将提出的统计推断方法应用于生物数据、图像数据等实际问题中,为解决与其相关的实际问题提供有效的统计方法和可靠的理论支持.

本项目主要依赖（超）高维数据的统计推断展开。主要包括以下几部分内容：（1）基于RV系数提出含潜变量联合模型的变量选择办法。提出了潜变量估计的EM算法，并在估计的基础上利用RV系数提出了超高维数据分析的变量筛选方法。我们将提出的方法用于探究心理学中两种幸福指数与基因之间的关系。（2）提出了超高维数据部分回归系数的假设检验方法。首先，利用随机切分的思想将假设检验问题进行两步走，极大提高了检验的功效。其次，为了降低单次随机切分的影响，提出多次切分的方法。所提出的方法在零假设下降低了犯一类错误的概率，同时在备择假设下进一步降低了犯二类错误的概率。（3）将函数型判别分析方法应用于高维光谱成像数据分析，极大提高了在物证鉴定领域人血与动物学判别的准确率。（4）提出了多（高）维变量与类别变量之间的独立性指标，并基于此指标提出了高维数据变量筛选和假设检验的方法。（5）针对多样本分布及其特征的一致性问题提出类别加权的方法，该假设检验办法适用于高维数据。（6）提出了含潜变量可加模型的变量筛选及假设检验方法。其中前三部分内容已经以学术论文的形式发表；第四、五部分内容正在审稿；第六部分内容已有初稿，并拟于近期投稿。