基于交替方向乘子法的分布式优化算法研究

Nowadays, with the explosive growth of the data, and the data is usually stored in a decentralized fashion over different machines, these conventional machine learning algorithms, which run on a single computer, become infeasible and impracticable for directly handling big data in real practice. Distributed problem solving with character of big data is a hot research topic in current science and technology. To solve the time efficiency problem caused by local computation and communication in distributed optimization algorithms, we explore and propose various of efficient distributed optimization algorithms via alternating direction method of multipliers (ADMM). The core idea is to use acceleration methods, adaptive strategies and online learning, to adequately analyze the relation between communication efficiency and local computation, and thus improve time efficiency. The details can be summarized as the following three folds: (i) Firstly, we propose an acceleration distributed optimization algorithm based on ADMM to improve convergence. (ii) Secondly, we proposed an adaptive method in distributed optimization via ADMM to effectively adjust the communication without manually tuning. (iii) Finally, we propose a distributed online optimization algorithm via ADMM to handle real-time streaming data. Our project will further enrich the theory and technique of distributed algorithms and explores novel algorithms for solving the time inefficiency problem. It can provide theoretical support and new technologies in practical applications, and can be widely used in national defense, artificial intelligence fields.

现今，数据呈现出爆炸性增长的态势，并且分散存储于不同机器。传统机器学习方法已不能满足应用大数据的需求，以大数据为表征的分布式问题求解是当前科学技术的研究热点。其中针对分布式优化算法中存在局部计算和通信的时间有效性问题，本项目拟探索研究一系列基于交替方向乘子法的高效分布式优化算法。其核心思想是采用加速方法、自适应策略和在线学习，充分地分析通信有效性和局部计算之间的联系，有效提高分布式优化算法的时间效率。研究内容包括：研究基于交替方向乘子法加速分布式优化算法，提高算法的收敛率；研究基于交替方向乘子法的自适应分布式优化算法，有效地调整通信周期；研究基于交替方向乘子法的分布式在线优化算法，实现流数据的实时处理。本课题进一步深化理论与技术研究，为解决分布式优化算法中时间效率低下问题探索新的研究方法。研究成果为分布式优化算法在现实应用中提供理论支撑和技术实现，在国防、人工智能等领域具有广泛应用前景。

现今，数据呈现出爆炸性增长的态势，并且分散存储于不同机器。传统机器学习方法已不能满足应用大数据的需求，以大数据为表征的分布式问题求解是当前科学技术的研究热点。其中针对分布式优化算法中存在局部计算和通信的时间有效性问题，本项目探索研究一系列基于交替方向乘子法的高效分布式优化算法。本课题首先针对分布式优化算法中存在收敛速度慢等问题，设计了基于Nesterov加速法的子问题优化策略，提出了基于Nesterov加速和辅助更新的分布式加速ADMM优化算法，基于随机交替方向乘子法的分布式分类算法；然后分析局部模型参数与全局模型参数的差异性，设计了基于残差平衡的自适应局部更新策略，自适应调整通信周期，保持分布式优化的通信和本地计算的平衡，进一步提升分布式算法的时间效率；最后研究基于聚类的分布式分解技术的时间感知可扩展推荐方法、基于ADMM优化的鲁棒邻域嵌入特征选择方法以及用于大数据分类的快速分布式随机梯度下降算法，提高大数据环境下分布式优化算法的性能及可扩展性。本课题所提出的理论和方法丰富和完善了大数据环境下分布式优化的学科内涵，为解决分布式优化问题探索理论和技术研究，而且研究成果适用于多种移动互联网应用领域的电子商务、个性推荐、医疗诊断等任务，具有广泛的应用价值。在本项目资助下共发表（含录用）与项目研究内容相关的论文10篇，其中SCI(E)期刊论文5篇，EI检索国际会议论文5篇，申请专利5项。