超高维半参数回归模型的结构识别和变量选择问题研究

Semiparametric regression models, enjoying the parsimony and interpretability of parametric models and the flexibility of nonparametric models, have been widely used in application. With the development of scientific techniques, ultra-high dimensional datasets subject to heavy-tailed errors or outliers are commonly encountered in diverse fields of sciences including biomedicine,economics and finical, and pose great challenges to modern statistical analysis. This project will study model identification and robust variable selection for high dimensional semiparametric regression models. There are three problems that will be solved in this project. First, we will study the model identification for high dimensional generalized semiparametric regression models using penalized function. Second, we will study the robust variable selection in terms of theory and application for high dimensional partially linear additive models and partially linear varying coefficient models. Third, based on some robust criterions such as least absolute deviation, rank regression and M estimation, we study variable selection for high dimensional semiparametric models subject to outliers, using some penalties (Elastic-Net) to deal with multicollinearity. The consistency and asymptotic normality will be given. This project aims to make a contribution to the statistical inference for ultra-high dimensional semiparametric models in terms of theory and practice, and provides support to some application areas.

半参数回归模型因兼具参数模型的简单有效性和非参数模型的灵活性而具有广泛的应用。随着现代科学技术的发展，厚尾或带有离群值的高维数据在生物医学、经济、金融等科学领域是非常常见的，这也给现代统计分析提出了非常大的挑战。本项目拟丰富和发展有关高维半参数回归模型的结构识别和稳健变量选择的研究，主要解决三个问题:一、利用惩罚函数的思想研究高维广义半参数回归模型的结构识别。二、以部分线性可加模型和部分线性变系数模型等半参数模型为基础，从理论上研究稳健变量选择问题，给出相应的理论结果。三、研究带有离群值的高维半参数模型的变量选择问题，利用最小一乘、秩回归、M估计等稳健方法，结合Elastic-Net等惩罚解决共线性问题，并研究估计的相合性和渐近正态性。本项目旨在从理论和应用上对超高维半参数回归模型的统计推断做出一定的贡献，为生物医学等领域的应用提供一定的帮助。

本项目主要从三个方面进行了研究。首先，研究了高维半参数回归模型的结构识别。通过将函数系数分解为常数和函数的和，进而利用惩罚函数的思想对函数部分进行选择，得到自变量中的线性部分和非线性部分。理论上建立了估计的大样本性质，同时通过数据模拟和实例分析验证估计方法的有效性。另外，我们研究了自变量带有加性测量误差时的半参数回归模型的结构识别问题。在响应变量是连续随机变量的情况下，我们分别利用样条方法和核估计方法处理此类模型的函数系数的估计和选择问题。其次，研究了基于稳健准则下的高维半参数回归模型的变量选择问题。给出参数个数大于样本量时的相关理论结果和数值结果。将组合惩罚方法应用到高维部分线性可加回归模型和高维广义线性回归模型的变量选择中，既能处理共线性，又能实现变量选择。最后，提出了Adaptive group bridge方法研究了因子个数发散时的部分线性回归模型组变量选择。研究了因子个数小于样本量和因子个数大于样本量两种情况下的广义线性回归模型的组变量选择，分别给出了这两种情况下Adaptive group lasso估计的大样本性质。