超高维复杂数据统计降维研究

In the field of financial markets, gene expression, combinatorial chemistry, due to the development of science and technology, and the complexity of practical problems, the collected data is not only a ultrahigh dimension, and is also complex. The complexity of the data is reflected in the data type as incomplete data which is missing or censored, surrogate data, longitudinal data or data with error measurement, and so on. This poses a new challenge for statisticians. Feature screening method has been widely studied in the problem of the general ultrahigh dimensional situation, and it is considered to be an effective dimensionality reduction method for the selection of the active predictors, but has rarely been studied in the ultrahigh dimensional complex data problems. This project is aiming to deal with the ultrahigh dimension complex data problems, overcoming the difficulty of complex data, and using the characteristic of the complex data structure, inverse probability weighted method, nonparametric imputation method, generalized correlation measure, and data correction method to propose the screening methods which are robust, effective, and applicable to a wide range of fields. Then, utilizing the modern statistical analysis technology, prove the sure screening property and ranking consistency from the theoretical analysis. And through a lot of research on the numerical simulations to study the finite sample properties of the proposed feature screening procedures. At the same time, the further statistical modeling and inference for the data after feature screening is studied and applied to the analysis of the practical complex data problems.

在金融市场、基因表达、组合化学等领域，由于科技的发展以及实际问题的复杂，人们收集到的数据不仅是超高维的，而且是复杂的，其复杂性体现在数据类型为缺失或删失等不完全数据、替代数据、纵向数据或测量误差数据等。这给统计工作者提出了新的挑战。变量筛选方法，在一般的超高维数据问题中已被广泛研究，被认为是一种比较有效的挑选重要变量的降维方法，但在超高维复杂数据问题中却被研究的很少。本项目拟针对超高维复杂数据问题，克服复杂数据的难点，以及利用复杂数据特有的数据结构，利用逆概率加权、非参数插补、广义相关、数据校正等方法，提出稳健、有效、适用范围广的变量筛选降维方法，然后运用现代统计分析技术，从理论上证明所提方法满足重要变量排序相合性和筛选相合性，并且通过大量的数值模拟研究其有限样本性质。同时，对降维后的数据进一步做统计建模推断，并应用到复杂数据的实际问题分析当中。

金融市场，生物医学，基因表达，组合化学和其他许多领域内面临很多大型数据集，高维数据甚至是超高维数据分析已经变得越来越频繁和重要。实践中常会面临变量个数p远远大于样本量n的超高维数据，这就需要提出计算效率高、稳健、满足降维相合性质的超高维降维方法来面对超高维复杂数据问题。本项目研究了超高维分类数据的特征筛选与降维。提出基于变化熵J值、似然比统计量、条件分布函数、方差比、组合分位数的边际特征筛选指标。所提出方法不仅在大样本理论上具有筛选相合性质和排序相合性质，并且在数值模拟和实例分析中都有较好表现。本项目研究了超高维纵向数据的特征筛选与降维。根据纵向数据具有组内相关，组间独立的特点，提出依赖组内相关矩阵、二次推断函数的超高维纵向数据筛选方法；结合得分检验理论构造秩统计量、C统计量特征筛选指标。所提出方法满足筛选相合性，并具有较好的数值模拟表现。本项目研究了超高维不完全数据的特征筛选与降维。针对超高维右删失数据，引入以风险函数为逆概率权重的边际特征筛选指标；对于带有替代数据的超高维数据情形，构建基于替代变量的扩展逆概率加权边际特征筛选指标。所以提出方法具有无模型假设、稳健、计算简单等优点，从理论上证明了其特征筛选相合性和排序相合性。本项目研究了超高维测量误差数据的特征筛选与降维。提出基于分布函数的纠偏距离相关系数特征筛选方法，并进一步提出了基于测量误差框架的分位数回归变量选择方法，验证了所提出方法的Oracle性质。本项目所得成果既在理论上丰富了超高维数据特征筛选的理论，拓宽了其应用领域，同时为经济金融、生态学、药物研究、社会学等领域的研究提供了方法支持。本项目共发表17篇论文，其中有10篇被SCI收录，1篇被CSSCI收录。培养了9名硕士毕业生。