稀疏正则化方法研究

高维、海量数据处理是当今各个学科所面临的突出问题, 如何从中选取特征（即决定这些数据的本质要素）是机器学习等领域所关注的基本问题. 众所周知，该问题对应于求解一个稀疏问题. 本项目研究的目的在于：通过新的集中不等式，初步建立稀疏正则化方法框架；在算法实现方面，对非凸的稀疏学习模型，从算子论角度统一研究阈值迭代方法，给出高效的阈值迭代算法. 研究稀疏机器学习算法的差异，建立有理论支撑的稀疏正则化相变方法，最终建立可评价稀疏机器学习算法的实验平台；在应用方面，研究稀疏信号压缩问题，研究信号的稀疏表示，采样矩阵的设计以及更稀疏的压缩感知策略.在变量选择领域，以芳香基化合物为研究背景研究化合物因子的选择问题.

高维、海量数据处理是当今各个学科所面临的突出问题, 如何从中选取特征. 众所周知，该问题对应于求解一个稀疏问题. 本项目基于求解稀疏问题开展了：(1)稀疏机器学习的理论及算法. 研究了L1/2正则化理论分析及阈值迭代算，从阈值迭代的角度给出了其高效快速解法，证明了L1/2正则化显示解的存在定理.给出L1/2正则化方法紧的非渐近界估计，给出其高维的统计性质分析，结果显示，在弱的条件下，L1/2正则化方法的解与Oracle解是同阶的. 同时基于相变工具分析了L1/2正则化方法的代表性；(2)建立稀疏正则化方法比较平台. 提出了稀疏正则化研究的相变框架，通过相变方法研究正则化的稀疏信号重建能力，所得研究框架为比较不同稀疏正则化方法的稀疏重建能力提供了实验工具及平台；(3) 研究具有组结构的正则化方法.研究了高维组结构的SCAD的Oracle性，通过实验验证具有组结构的SCAD的有效性；(4)研究非凸正则化方法的应用. 研究了有噪声的压缩感知，提出了基于SCAD罚函数的压缩感知策略，并给出了一种高效的阈值迭代算法，从理论上证明算法的有效性，通过大量实验验证基于SCAD罚函数的压缩感知策略解的稀疏性及稳健性.进一步给出基于 AMP (Approximate Message Passing) 改进的 SCAD 阈值迭代算法及收敛性分析，结果可推广到其它非凸阈值迭代算法；(5)研究稀疏网络的数据分析. 研究了基于稀疏先验的高斯图模型，提出一种分层惩罚连接单个图模型估计的多图模型，给出了新模型的高维统计性质，估计了新模型的参数，并证明了其估计的相合性及稀疏性. 研究在无标度先验下， 图模型的结构学习问题. 提出新的正则化模型，其惩罚项为Log型和Lp型惩罚函数的复合，使用重赋权迭代算法求解该模型，实验表明，所提出的新模型有效、实用，其在参数估计和结构学习方面均有良好效果. 给出了随机块模型的变分估计及最大似然估计的渐近正态性分析.