基于自动微分的参数选取结构型优化算法研究

With the rapid development of information science and the advent of the era of big data, the structured optimization problems with some special structures have become research focuses. A large number of numerical experiments showed that the model parameters play important role in solving optimization problems. Thus, the studies of optimization methods and model parameter selection for structure optimization problems have great applicable value. In this project, we devote to the study of optimization problems with special structures from the algorithm designing to model parameter selecting. The concrete contents include: (1) propose a class of two-stage methods for the parameter selection, introduce the inexact strategy to solve the structured optimization problems under some effective update scheme for model parameter; (2) accelerate the proximal gradient method and alternating direction method of multipliers by using the technique of automatic differentiation; (3) give some analysis results on the complexity of classical structured optimization methods. In this project, we study a class of parameter selection problems for structured optimization methods, and extend automatic differentiation based structured optimization methods to the fields of signal processing, image processing, machine learning, etc.

随着信息科学的发展与大数据时代的到来，具有一定特殊结构的结构型优化问题逐渐成为数值优化的研究热点。大量数值试验结果显示，结构型优化问题中模型参数对问题求解的影响很大。因此，考虑具有结构特征的优化方法和模型参数选取的研究具有重要的应用价值。本项目将针对特殊结构优化问题从算法设计到模型参数选取方法上展开研究。具体研究内容包括：（1）提出两阶段含参数结构优化方法，采用非精确方法快速求解结构型优化问题，并结合有效的参数更新策略确定最优模型参数。（2）结合有效的自动微分技术，加速临近梯度法、交替方向乘子法等结构型优化方法的实现。（3）基于自动微分技术，给出几类经典的结构型优化方法的复杂性分析结构。通过本项目的研究，我们既研究了结构型优化方法中模型参数的选取问题，也推广了基于自动微分技术的结构型优化方法在信号处理、图像处理与机器学习等领域的应用。

随着信息科学的发展与大数据时代的到来，具有一定特殊结构的结构型优化问题逐渐成为数值优化的研究热点。大量数值试验结果显示，结构型优化问题中模型参数对问题求解的影响很大。因此，考虑具有结构特征的优化方法和模型参数选取的研究具有重要的应用价值。. 本项目针对特殊结构型优化问题，主要研究了以下内容：（1）自动微分与同伦算法相结合方法来求解高维矩阵特征值问题，成功地将自动微分的优势嵌套到特征值问题上，同时算法中通过设置相关参数，加速算法，数值实验表明该方法的有效性；（2）凸函数减凸函数（DC）结构优化问题的研究，提出了一族Bregman交替乘子方向法求解线性约束下DC优化问题，其目标函数是两个凸函数之差和一个凹函数之和。在算法设计上，针对凹函数计算部分，每一步迭代上选择次梯度步或邻近步进行计算，且在处理非光滑凸函数时，还采用了插值技术，在一定条件下证明了所提出的方法收敛到稳定点。同时针对非凸非光滑优化问题，提出带SPIDER随机临近DC算法，理论上证明了改进了已有算法的梯度复杂度，数值实验验证了其有效性；（3）一类双稀疏约束优化结构问题的求解，其目标函数是可分的光滑函数，且决策变量可划分为两块，分析了目标函数为非凸函数的情况下该算法的在一定条件的收敛性数值验证了其有效性；（4）自动微分的正则化Chebyshev-Halley相关问题的研究，成功地设计出了求解无约束优化问题的正则化Chebyshev-Halley算法，并在适当的假设条件下，理论上证明了算法的收敛性，通过构造相应的数值算例，验证了算法的有效性。. 通过本项目的研究，我们既研究了结构型优化方法中模型参数的选取问题，也推广了基于自动微分技术的结构型优化方法在信号处理、图像处理与机器学习等领域的应用。