半参数统计模型的分布式估计及其推断

The standard way to handle big data is to assign it randomly to many machines or nodes and then fuse each of their individual estimates to calculate the overall parameters of interest. The first part of this project is to study the distributed estimation and inference of the high-dimensional partial linear regression model. To this end, we consider the least squares estimate with a double penalty term, and all the independent estimates generated by the penalized method are averaged into a global estimate. Compared with purely linear models or completely non-parametric models, the study of sparse partial linear models under distributed learning has to face additional challenges, for example the double penalty terms will lead to the estimation bias of parameter coefficients or non-parametric components, and then seriously affect the performance of the overall estimated effect. For this reason, we propose distributed estimations for reducing the bias for linear coefficients and non-parametric components, respectively. Another research content of this project is related to the composite linear quantile model. Assuming that the underestimate coefficient is a smooth function of the quantile, we employ the global distribution information to propose a quantile-weighted estimate of the multi-task form. The coefficients corresponding to different quantile points are regarded as nodes of the network, and our local ADMM algorithm is formed by truncating these weights. The key consideration is the tradeoff between the communication costs of the algorithm and the validity of the estimates.

处理大数据的标准方法是将其随机分配诸多机器或节点，然后融合他们的每个单体估计来计算感兴趣的总体参数。本项目第一部分内容是研究高维偏线性回归模型的分布式估计及其推断问题。为此我们考虑了一个双重判罚项的最小二乘估计，由该方法生成的每个独立估计以独特方式平均形成一个全局估计。与纯线性模型或完全非参数模型相比，分布式学习下的稀疏部分线性模型研究必须面对额外的挑战，如双重惩罚项将导致参数系数或非参数分量的估计偏差，进而严重影响分布式总体估计的效果。为此我们分别对线性系数与非参数成分提出不同的降低偏差的分布式估计。本项目另一研究内容是涉及复合线性分位数模型的。假设待估系数是分位点的光滑函数，我们利用全局分布信息提出了多任务形式的分位数加权估计。把不同的分位点对应的系数看作网络的节点，通过截断权重方式形成我们的局部ADMM算法。重点考虑其算法的通信成本与估计的有效性之间权衡关系。

分布式策略是解决大数据分析问题的有效方式之一，其中最常用的分布式方法是分而治之策略，这种方法只是简单的汇总每个局部结果，来形成全局感兴趣的估计。然而分而治之策略只是用同质模型且对高维数据容易产生严重偏差。本项目的主要研究内容是提出若干有效的半参数模型的分布式算法，并且从统计理论与实证两个方面来验证我们方法的有效性。特别地，我们分别对线性系数与非参数成分提出不同的减少偏差的分布式估计。本项目另一研究内容是涉及复合线性分位数模型的。假设待估系数是分位点的光滑函数，我们利用全局分布信息提出了多任务形式的分位数加权估计。把不同的分位点对应的系数看作网络的节点，通过截断权重方式形成我们的局部ADMM算法。本项目的研究既有方法方面的创新，又有理论方面的深刻结果，是统计与机器学习大数据专题的丰富与发展，得到了国内外专家或同行的高度认可。代表性相关科研成果发表在统计学与计算机方面的国际顶级期刊上。