基于微型批量采样的分布式多智能个体网络协同优化算法研究

The traditional optimization algorithms based on batching are no longer suitable for solving large scale data optimization problems due to increasingly large scale of data. The proposed distributed optimization algorithms based on mini-batch gradients sampling, both collecting the strengths of low implementation requirements, high efficiency, strong privacy protection and anti-interference of distributed optimization algorithms, and playing the characteristics on the generalization ability of the data sample and parallel implementation of batch sampling, are the ideal way to solve the large scale data optimization problems at present. By utilizing random disturbance smoothing technology for partly unknown objective functions, and referring to the thoughts of mirror descent methods, accelerating gradient methods, proximal gradient methods and dual-averaging methods, we could design a series of distributed optimization algorithms oriented large scale data. By using spectral graph theory and Bregman distance theory, we analyze the convergence error, convergence rate and computing complexity of the algorithms, and deeply explore the relationship among convergence performance of algorithms, algorithms parameters, the network scale as well as parameters of constraint conditions. We train algorithms and test algorithms by utilizing the actual data set, and gradually improve the algorithm performance. Systematically studying distributed optimization algorithms based on mini-batch gradients sampling, will have an impact on exploring the solving methods for the large scale data optimization problems.

日益庞大的数据规模使得基于批处理的传统优化算法不再适用于求解大规模数据优化问题。本项目提出的基于微型批量梯度采样的分布式优化算法，既发挥了分布式优化算法低实施要求、高运行效率、强隐私保护以及抗通信干扰的特点，也体现了数据样本的泛化能力和并行实施批量采样的特点，是目前解决大规模数据优化问题的理想方案。通过随机扰动光滑化法处理优化问题的部分未知目标函数，借鉴镜面下降法、加速梯度法、临近梯度法、对偶平均法等思想，设计出一系列面向大规模数据处理的分布式优化算法，利用谱图理论和Bregman距离理论，分析算法的收敛误差、收敛速率和计算复杂性，并深入挖掘算法收敛性能与算法参数、网络标度和约束条件等参数之间的关系。利用实际数据集训练和检验算法，并逐步改进和提升算法性能。系统地研究基于微型批量梯度采样的分布式优化算法，对于探索面向大规模数据优化问题求解方法具有一定的推动作用。

传统的数据处理与分析方法面对日益庞大而复杂的数据，特别是大规模的动态流式数据，已无法再进行有效的获取，及优化分析数据背后隐含的意义。本项目提出的基于微型批量随机梯度采样的分布式优化算法、无模型在线增强学习算法，既发挥了分布式优化算法低实施要求、高运行效率、强隐私保护以及抗通信干扰的特点，也体现了数据样本的泛化能力和并行实施批量采样的特点，是目前解决大规模数据优化问题的理想方案。在分布式优化与学习算法应用方面，首先将提出的算法应用到求解智能电网需求响应问题，为此，项目团队提出了一种基于重复博弈的能源交易框架，使每个微电网能够独立地且随机地选择一个在可信的能源市场进行交易的策略，从而最大化他的平均收益。通过建立平均效用最大化和最佳策略之间的关系，提出了两个基于学习自动机的算法来求解纳什均衡点，以适应不同的策略环境。其次，将提出的算法应用到求解无线传感器网络的平均一致估计问题，严苛的通信环境允许新的传感器节点加入和旧的传感器节点离开，并可以容忍通信链路故障。针对这样的网络，提出一个异步算法来估计不可靠的网络中的未知参数，其中，每个传感器在其被唤醒时可以访问部分信息测量。综上，本项目系统地研究了分布式优化算法以及其应用，对于探索面向大规模数据优化问题求解方法具有一定的推动作用。本项目发表学术论文12篇，其中SCI收录9篇，EI收录3篇，培养博士生1名，硕士生4名，圆满完成预期目标。