基于变系数半参数模型的高维数据统计分析

High dimensional data and ultrahigh-dimensional data are often encountered in many different areas in our social lives. It is meaningful to do statistical analysis effectively to these types of data. For the parametric models and constant coefficient models, they are increasingly unable to meet the requirement of data analysis. This project will focus on studying the varying-coefficient semiparametric models with high dimensional and ultrahigh-dimensional data. This kind of models is flexible so that it can adapt to the complex data structure. This project aims to study the estimation efficiency, variable selection procedure and model identification problems for the single-index varying-coefficient models. It will give the proof of the large sample properties, and complete the numerical simulations to verify the finite sample properties. On the other hand, this project will also study the dimension reduction problem for the varying-coefficient semiparametric models with ultrahigh-dimensional data. The screening methods for screening the functional coefficient variables are proposed, thus the general variable selection procedure is proceeded. The consistent property of the screening method will be proved. Furthermore, this project aims to study on the consistency of the screening method for the model which have mixed functional coefficient variables and the constant coefficient variables, and the finite sample properties will be studied through the numerical simulations.

高维及超高维数据是当今社会多个领域会经常碰到的数据类型，能否有效的对其进行统计分析具有非常重要的意义。参数模型，常数系数模型越来越无法适应对数据分析的要求。高维以及超高维数据下的变系数类型的半参数模型是本项目研究的重点，该类模型的灵活性使其更能适应于复杂的数据结构。本项目拟对单指标变系数模型从估计有效性、变量选择和模型的识别性问题方面进行研究，在证明其大样本性质的同时，通过数值模拟研究其有限样本性质。本项目还将对超高维数据下变系数类型的半参数模型的降维问题进行研究，给出函数型系数变量的筛选方法，从而进行变量选择，证明筛选方法的相合性，并研究混合函数型系数与常数系数变量的模型的变量筛选及筛选方法的相合性，通过数值模拟研究其有限样本性质。

高维及超高维数据是当今社会多个领域会经常碰到的数据类型，能否有效的对其进行统计分析具有非常重要的意义。在处理高维数据时，许多模型被提出用来避免“维数祸根”的问题，本项目对高维数据下变系数模型等半参数模型和超高维数据的降维研究具有非常重要的意义。本项目利用正交投影技术、非参数估计方法、广义估计方程等技术研究了完全数据下部分线性单指标模型和单指标变系数模型的估计效率问题，构建了有效估计方程，并证明所得方程的解为半参数有效估计。利用扩展的逆概率加权估计方程、稳健型理论以及线性算子运算技巧，构建了在响应变量随机缺失下带有异方差的部分线性单指标模型的有效估计方程，得到半参数有效估计。本项目利用Smooth threshold估计方程方法，惩罚损失函数法等方法，结合有效估计方程，研究了部分线性单指标模型的变量选择问题。对广义部分线性单指标模型利用惩罚似然的思想研究了其变量选择方法和参数估计的大样本性质。对纵向数据下的部分线性单指标模型研究了其变量选择方法和参数估计问题。对单指标变系数模型，采用两阶段惩罚似然方法，结合有效估计方程，研究了模型的变量选择和模型识别。利用多项式样条方法研究了时间序列数据下的变系数模型的变量选择和估计问题。对超高维数据，本项目研究了基于条件距离相关系数、条件Kolmogorov滤波方法的变系数变量筛选问题；利用协变量的秩的条件期望，构造了超高维判别分类问题的边际特征筛选方法；对响应变量随机缺失下的超高维数据，研究了无模型假设的稳健特征筛选方法。本项目所得成果既在理论上丰富了半参数模型的估计有效性和变量选择、降维、超高维数据特征筛选的理论，拓宽了其应用领域，同时为经济金融、生态学、药物研究、社会学等领域的研究提供了方法支持。本项目完成论文15篇，其中已发表论文10篇（包含SCI论文9篇），接收1篇，会议论文1篇，投稿和修改论文3篇。