带有基数罚稀疏优化模型的理论与算法研究

The optimization program with the cardinality penalty is the most immediate and ideal model for solving sparse optimization problems. However, it is a kind of NP-hard combinational optimization problem in general. By virtue of its wide applications and the existing problems in its research, this project focuses on the research of this program from its theoretical analysis, model improvement and algorithm design, which are based on the optimization theory, dynamic system theory, high-dimensional statistical analysis and probability theory. We use some techniques to overcome the difficulties brought forward by the nonsmoothness nonconvexity of the loss function and the noncontinuity of the penalty term. In theory, we excavate the universalities and individualities of the global solutions and local solutions. All these theoretical results support us to construct its continuous approximations which could not only highlight its global solutions, but also remove some local but not global solutions, and own some special structures in computation. In algorithm aspect, we propose the iterative algorithms with stronger optimization performances and statistical abilities on the one hand, on the other hand, we establish the dynamical algorithms, which own the stronger convergence properties and could promote the iterative algorithm research. . Based on many classical and new methods, this project stands upon the research of the practical problem in many applications. This project aims to solve the problem with a cardinality penalty term from a new perspective, which not only develops the existing theoretical research in optimization, but also explores the new methods for the sparsity optimization problems.

带有基数罚的优化模型是描述稀疏优化问题最直接最理想的模型，但一般情况下其为NP-hard的组合优化问题。鉴于其广泛的应用领域和现有研究中存在的问题，本项目将以此类问题为研究对象，基于最优化理论，结合动力系统理论、高维统计分析、概率论等相关知识，从其理论分析、模型改进和算法设计三方面开展研究工作。理论上，克服损失函数的非凸和非光滑性及罚函数的非连续性带来的研究困难，寻找该类优化问题全局解与局部解的共性和特性，以建立可突显原问题全局解，删除部分局部非全局解，并享有一定特殊计算结构的连续逼近模型。算法上，一方面，给出具有较强优化性能和一定统计分析的迭代算法；另一方面，建立具有较强收敛性并可促进迭代算法研究的动态算法。. 本项目的研究以众多应用中亟待解决的实际问题为立足点，将多种方法有机地结合，既有对现有优化理论的发展和深化，又有对新方法的探索，以求从新的视角去解析基数罚优化问题。

稀疏优化问题广泛出现在科学研究和工程应用的众多领域，带有基数罚的优化模型作为描述该类问题最直接最理想的模型受到了学者们的广泛关注。其中，基数罚函数自身的非连续性给该模型的理论和算法研究带来了困难和挑战。本项目将以最优化理论为基础，结合非光滑分析、数值算法、动力系统、统计分析等知识，从理论、算法和应用三个方面对带有基数罚的稀疏优化问题及其连续松弛模型展开研究工作。主要研究成果包括：（1）针对几类带有基数罚的优化模型，通过挖掘其全局解和局部（非全局）解的特性，给出了能够突显原模型全局解、删除部分“不好”局部解的连续优化模型。（2）通过结合多种优化方法，建立了具有全局收敛性和局部收敛速率分析的迭代算法，此类算法不仅收敛于具有较强优化性能的局部最优解，而且具有较理想的收敛速率。（3）以基数罚稀疏优化模型为背景，针对其多个非光滑连续松弛模型，充分考虑其函数特征，设计了基于多智能体系统、具有信息分布式存储能力的高性能动态算法，如对基数罚优化模型和非Lipschitz连续p范数(0<p<1)罚优化模型提出了光滑投影梯度动态算法，对连续但非光滑优化模型分别提出了基于Moreau包络、具有分布时滞和离散时滞记忆和基于p-次幂重构的动态算法等。（4）基于最优性条件，很多优化问题都可转变为不动点问题，本项目针对非光滑压缩映射的不动点问题展开了关于Anderson加速算法的理论研究。. 本项目立足于源于实际问题求解需求的非连续基数罚稀疏优化模型，以对其建立完善的理论分析和行之有效的算法为首要目的。本项目在连续松弛方面的理论研究成果，不仅加深了对该模型的理解，也为其后续研究提供了更稳健的优化模型。在算法方面，不仅改进了现有方法的求解质量，而且对如何提高算法的速度也给出了若干可行方案和新思路。在应用方面，推动了关于一些亟待解决的应用问题的研究的发展，促进了数学理论与金融统计、工程实践的有机结合。