通信受限环境下基于神经网络群集动力学的分布式优化研究

Distributed optimization has wide applications in current society and has been becoming an important research direction in the field of system theory and control theory. Communication plays a key role in distributed optimization. The real communication network always suffers from limited communication resource and attacks from the environment, which bring great challenges for designing algorithms to distributed optimization. In this research proposal, by using neurodynamic optimization approaches which have the merit of real-time convergence, we aim to develop collective neurodynamic approaches to distributed optimization under constrained communication. The research consists of three coherent parts. First, due to the influence of limited communication resource, we will develop a series of collective neurodynamic systems with discrete-time communication schemes, and sufficient conditions will be derived for guaranteeing the convergence of the designed system to an optimal solution. Second, to cope with the attacks from the environment, we will establish efficient collective neurodynamic approaches to distributed optimization under dynamical and directed communication networks. Finally, we will quantitatively characterize the convergence rate of the developed collective neurodynamic systems for distributed optimization under constrained communication, which can provide a guide for improving the designed systems. It is expected that the accomplishments of the proposed project will significantly advance the frontiers of distributed optimization research and neurodynamic optimization research from both theoretical and practical points of view.

分布式优化在当前社会中应用广泛，是当代系统和控制科学的重要发展方向之一。通信在分布式优化方法中有着十分关键的作用。现实通信网络往往受到通信资源有限、外界环境干扰等因素影响，这对分布式优化方法的设计带来极大挑战。本项目将在通信受限的环境下，结合神经网络在实时优化上的优势，建立基于神经网络群集动力学的分布式优化方法。首先，针对通信资源有限的约束，建立一系列基于离散通信机制的神经网络群集系统，给出系统收敛到优化问题最优解的充分判据；其次，针对外界环境对通信的干扰，提出适用于动态有向通信网络的分布式优化模型，并对模型的有效性进行分析；最后，对所建立的分布式优化模型的收敛速度进行定量分析，探讨通信约束对收敛速度的影响，进而有针对性的对模型进行改进，提高模型性能。本项目的研究将极大扩展和丰富现有的分布式优化方法，并对神经动力学优化方法的发展有着重要的意义。

分布式优化算法在机器学习、网络化系统控制中有着广泛的应用，是当前研究的热点。通信在分布式优化算法中发挥着关键作用。考虑到现实通信环境的复杂性，本项目在通信受限的情形下系统研究了分布式优化算法的设计与分析问题。具体而言，一、从通信内容角度，提出了基于比例-积分结构一致性协议的分布式极小极大优化算法。在该一致性协议下，智能体之间只需要交互智能体状态在约束集上的投影信息。相比已有的工作，所提出的算法减少了智能体之间所需要交互变量的数目，节约了通信带宽。二、从通信网络结构角度，首先，研究了比例-积分一致性协议中比例部分、积分部分各自在一致性过程中发挥的作用，从双层通信网络角度分析了比例部分、积分部分对通信网络的要求，为一致性协议结构的简化提供了依据；其次，在动态有向通信网络上，提出了基于连续多智能体系统的分布式鞍点计算算法，提升了算法的适用范围。三、从通信频率角度，在二阶多智能体系统中提出了完全分布式的自触发控制机制，在该机制下，每个通信边独立决定信息传输的时刻。利用稳定性理论，从理论上证明了上述自触发控制机制在保证二阶一致性的有效性，同时证明了在该机制下，Zeno行为可以避免。利用事件触发通信机制，降低了智能体之间的通信频率，有助于节约通信消耗。四、从通信次数角度，本项目研究了分布式算法的加速机制。利用Heavy-ball动量法，首先提出了有向图的分布式加速算法，并在理论上证明了该算法可以实现线性收敛速度；其次，提出了分布式聚合博弈加速算法。通过提升算法的收敛速度，有助于从总体上减少智能体之间的通信次数。所取得的研究工作丰富了已有的研究成果，有助于更加深入的理解分布式优化算法中通信对算法性能的影响，为分布式优化算法的设计与改进提供了理论依据。依托该项目支持，在项目执行期间发表论文7篇，并在会议CCC2020上举办了关于分布式优化的专题组会，招收6名研究生。