信息约束下的博弈学习动力学及其在协同控制中的应用

Game-based cooperative control is a new interdisciplinary research field at the cross-point of game learning and cooperative control. With a game model representing the problem of cooperative control, and using game learning dynamics to design cooperative control algorithms, the game-based cooperative control provides a new framework for solving the tasks of cooperative control in various applications. Current studies on game learning dynamics are mainly based on the complete information assumption, and information limitation is the core challenge in application of game learning dynamics in cooperative control problems. In this proposal, beginning with two typical information limitations, including networked information and minimal information, and by using analysis tools of network theory and optimization methods, systematic investigations will be carried out on design, analysis, and applications of game learning dynamics with limited information. In detail, some design methods of game learning dynamics with limited information will be established; and the applicable game types and convergence performances of the learning dynamics will be clarified. Furthermore, cooperative control algorithms will be designed and applied to different kinds of cooperative control problems based on the game learning dynamics with limited information. Completeness of this project will enrich the content of game theory, enhance the applications of game learning in cooperative control, and provide a new theoretical and technical perspective for understanding the collective decision-making process in complex systems.

基于博弈学习的协同控制是博弈学习和协同控制结合而形成的新型交叉研究领域，它以博弈模型刻画协同控制问题，利用博弈学习动力学设计协同控制算法，为解决各类工程任务中的协同控制问题提供了一个新的研究框架。目前，博弈学习研究主要基于完全信息条件，而实际工程应用中的信息约束是制约博弈学习理论在协同控制问题中应用的核心难点。本课题从网络信息约束与最小信息约束等两类典型信息约束出发，利用网络科学与最优化方法相关理论与工具，对信息约束下的博弈学习动力学构造、分析与应用展开系统的探索：建立若干信息约束下博弈学习动力学的构造方法；阐明不同博弈学习动力学所适用的博弈类型以及收敛效率；设计基于信息约束下博弈学习动力学的协同控制算法，并考察其在各类协同控制问题中应用。本课题的实现，能够从信息约束的新视角丰富博弈学习理论的内容、扩大其在协同控制问题中的应用范围，并为理解复杂系统中的集群决策行为提供新的理论与技术支持。

分布式人工智能是当前人工智能领域的重大热点前沿问题。分布式智能的一个核心挑战性问题是：如何通过智能体的局部信息获取与计算能力来生成群体智能。围绕该问题，本课题在国自科面上基金项目的支持下，对分布式信息约束下的博弈学习动力学的设计与分析展开了研究，并在多智能体协同控制等领域中开展应用。主要成果如下：.1）针对有限策略博弈的分布式纳什均衡搜索问题，构建了基于时间戳的分布式惯性最优响应动力学，并证明了对于一类广义的弱非循环博弈，该博弈学习动力学能够以概率1收敛于纳什均衡。与当前最优算法相比，我们提出的算法不仅以概率1收敛（以正概率停留），且收敛速度提高约5倍。该结果能够解决一大类分布式有限博弈问题。这些成果发表于IEEE Trans. Neural Netw. Learn. Syst. Doi: 10.1109/TNNLS.2022.3183250等.2）针对连续策略博弈的分布式纳什均衡搜索问题，我们提出了基于增广博弈的效用函数解耦方法，形成了基于增广博弈的分布式纳什均衡算法的构造与分析方法，为分布式纳什均衡算法提供了一个博弈原型。这些成果发表于IEEE Trans. Cybernetics, doi: 10.1109/TCYB.2022.3174196, 2022等.3）针对群体博弈的分布式纳什均衡搜索问题，我们引入了图广义纳什均衡的概念并建立了该均衡与基于局部竞争的演化动力学平衡点之间的映射关系。此外，为了适用强耦合群体博弈，我们基于一致性协议，构建了基于一致性的分布式群体演化动力学，并证明其纳什均衡收敛性。该成果发表于IEEE Trans. Syst. Man. Cyber，doi: 10.1109/TSMC.2022.3188266，2022等.在构建上述系列算法的同时，我们将所得到的算法应用于各类多智能体协同任务中，包括分布式交通路由问题、传感器网络覆盖问题、任务分配问题等，形成了基于博弈学习的多智能体系统解决方案。