基于广义牛顿算法的高维稀疏学习：收敛性分析与统计推断

This project aims to systematically study the second order Newton algorithm in high-dimensional sparse learning. We study the convergence of the proposed algorithm, develop a new data driven tuning parameter selection method, bound the non-asymptotic estimation error, construct confidence intervals, discuss issues related to the power enhancement, and then further apply our methods to modeling and analysis of the high dimensional data in the fields such as finance, signal processing, machine learning and biomedicine.

本项目拟系统研究高维稀疏学习中的二阶牛顿型算法，建立算法的收敛性，探讨算法中数据驱动的调节参数选择方法，分析算法在非渐近情形下的估计误差，构造置信区间，讨论相关假设检验问题的功效，并将研究所得应用于金融、信号处理、机器学习、生物医学等领域高维数据的建模与分析。

高维数据分析是统计学研究的前沿，发展有理论保证的快速算法求解高维模型优化问题是人们关注的焦点。本项目主要研究基于广义牛顿（半光滑牛顿，SSN）算法的高维稀疏学习。我们发展了用SSN算法求解高维LASSO凸问题和SCAD、MCP非凸问题，讨论了算法的收敛性分析；设计了用PDAS算法（SSN算法的变种）求解高维SICA非凸问题和带衰减信号的L0稀疏恢复；研究了GSELO正则Cox模型、分布式quantile回归模型等复杂统计模型，为进一步拓展SSN算法的应用奠定基础。受本项目的资助，作者发表了包括IEEE Transactions on Neural Networks and Learning Systems、Journal of Statistical Computation and Simulation、Communications in Statistics-Theory and Methods、 Journal of Systems Science and Complexity、Statistics and Its Interface、Signal Processing、Neurocomputing等近10篇SCI论文。