基于尾期望回归模型的分布式优化方法研究

With the advent of the era of big data, the use of statistical thinking and methods to mining the value hidden in the data has become a hot topic in the field of big data. The common method of data mining is regression analysis. The least square regression can only estimate the mean of the response variable, while the expectile regression can estimate the overall distribution of the response variable. Based on the big data and the expectile regression model, the project applicant mainly study two aspects.(1)The low-dimensional M-estimation problem: the idea of this study is to construct a communication efficient surrogate loss function of the general loss function, we design ED-ADMM algorithm, and we estimate the parameters by the distributed optimization method. (2)The high-dimensional regular problem, the idea of this study is based on the surrogate loss function proposed by the low-dimensional M-estimation, and we add the SCAD penalty term and the adaptive LASSO penalty term, and then we propose a communication efficient regular surrogate loss function and modify ED-ADMM algorithm for parameter estimation and variable selection by the distributed optimization method. We believe that the the global loss function that can be efficient evaluated using only a sub-sample of the observations.This project intends to solve the big data probm, where the sample size and the parameter dimension are so large that the calculation of the loss function and the communication are expensive.

随着大数据时代的到来，运用统计的思维和方法挖掘隐藏在数据里的价值成为大数据领域的研究热点之一。数据挖掘的常用方法是回归分析，最小二乘回归只对因变量均值做出估计，而尾期望回归可以估计因变量的整体分布。项目申请人拟以大数据为背景，在尾期望回归模型下，主要研究两个方面的问题。(1)低维M-估计问题：本项目通过构造全局损失函数的一个交互有效的替代损失函数，设计ED-ADMM算法，采用分布式优化的方法对尾期望回归模型中的参数进行估计。(2)高维正则问题：基于低维M-估计的替代损失函数，分别加上SCAD惩罚项和自适应LASSO惩罚项，构造交互有效的正则化替代损失函数，修正ED-ADMM算法，采用分布式优化的方法对尾期望回归模型中的参数同时进行估计和变量选择。本项目拟达到仅使用局部样本就可有效评估全局损失函数的目的。本项目拟解决大数据中样本量大、维度高导致的计算成本和机器之间交互复杂度成本昂贵的问题。

大数据指传统软件工具在一定时间范围内是无法捕获、管理和处理的一组数据，同时也是一种庞大、高增长、多元化的信息资产，需要一种新的处理模式，才能拥有更大的决策力、洞察力和流程优化能力。因此，单台计算机已无法完成相应的计算需求，分布式系统应运而生。科学技术的进步使得数据收集变得越来越容易，从而导致数据库规模越来越大、复杂性越来越高，数据偏态性越来越明显，如各种类型的贸易交易数据、网络使用数据等，它们的维度通常可以达到成百上千维。尾期望回归是处理偏态数据的一种常用方法，因此，开发一种新的尾期望回归分布式学习方法以对数据进行分布式处理具有非常重要的理论意义和应用价值。本项目主要研究两方面问题 (1)低维M-估计问题：通过构造全局损失函数的一个交互有效的替代损失函数，设计ED-ADMM算法，采用分布式优化的方法对尾期望回归模型中的参数进行估计。(2)高维正则问题：基于低维M-估计的替代损失函数，分别加上SCAD惩罚项和自适应LASSO惩罚项，构造交互有效的正则化替代损失函数，修正ED-ADMM算法，采用分布式优化的方法对尾期望回归模型中的参数同时进行估计和变量选择。数值模拟和实证分析的结果表明，在主从机器之间的沟通成本方面，仅需要数轮主从机器之间的交互，本项目提出的方法的估计误差收敛于基于整个数据的Centralize方法的估计误差。进而验证了本文提出的分布式优化方法在样本量有限的情况下具有良好的性能且在实际应用中具有可操作性。