针对大规模机器学习问题的一阶非凸与随机优化算法理论与应用研究

The optimization algorithm is one of the main workhorses of machine learning. With the rapid increase of data and the high non-convexity of various problems (such as neural network training), the first-order nonconvex and stochastic optimization algorithms have attracted increasing attention. In fact, the first-order nonconvex and stochastic algorithms have achieved good performance in dealing with plenty of large-scale (non-convex) problems. This study is devoted to further explore the general theory of first-order nonconvex and stochastic optimization algorithms and their performance in special settings （like deep learning）. The main aspects include the theory of variance reduction stochastic algorithms, the theory of nonconvex algorithm escaping from saddle point and convergent to global minimum, and the performance of first-order algorithm used for shallow neural network. We will also consider how to use our established theory to design more efficient schemes.

优化算法是机器学习的核心之一。随着今年来数据量的急剧增加以及问题的高度非凸性（如神经网络训练），一阶非凸与随机优化算法收到越来越多的注意和重视。事实上，一阶非凸与随机算法在处理很多大规模（非凸）问题时都已经取得了不俗的表现。本研究旨在进一步发掘一阶非凸与随机优化算法的一般理论以及在特殊环境下（如深度学习）的算法表现。主要涉及的方面包括方差缩减的随机算法理论、非凸算法逃离鞍点和收敛至全局极小理论以及一阶算法在浅层神经网络问题上的表现。我们也会考虑如何使用得到的理论设计更为高效的算法格式。

优化算法是机器学习的核心之一。随着近年来数据量的急剧增加以及问题的高度非凸性（如神经网络训练），一阶非凸与随机优化算法受到越来越多的注意和重视。事实上，一阶非凸与随机算法在处理很多大规模（非凸）问题时都已经取得了不俗的表现。本研究旨在进一步发掘一阶非凸与随机优化算法的一般理论以及在特殊环境下（如深度学习）的算法表现。以申请人第一作者身份发表CCF-A类论文7篇、CCF-B类论文4篇，超额完成了计划书规定的预期研究内容。项目研究内容包括：1）研究了随机优化算法的在非独立同分布采样下的收敛理论，并将其应用到了去中心化优化问题。2)研究了去中心化随机梯度法的泛化性分析，首次给出了去中心化算法的泛化界。3) 提出了具有有限时间收敛保证的线性函数近似的时间差分序列学习算法的第一个自适应投影变体。从理论上证明了该算法的收敛性和加速效果，实验验证了新算法更加稳定。4)研究了去中心化条件的联邦平均算法，在理论上证明了算法的收敛性，通过大量实验验证了算法的有效性。