智能发电控制的混合均衡态及其多智能体随机均衡对策理论

智能发电控制（SGC）是适应智能电网要求的下一代自动发电控制系统（AGC），未来SGC较现代AGC最大区别在于：SGC是适应强随机环境、具备多目标动态优化能力的多智能体协调控制系统。本项目提出了一个全新概念-"混合均衡态"来解释SGC多智能体的相互作用和最优平衡状态，并将SGC随机优化控制问题建模为一个基于混合均衡态的随机均衡对策问题来综合求解。对于事故紧急状态下的多智能体单目标随机对策问题，用完全合作的相关均衡对策和斯塔克贝格均衡对策来求解；对于正常运行状态下的多智能体多目标随机对策问题，用理性合作的轻微利他均衡对策并结合生物群体搜索算法（GSO）来求解。针对各均衡对策在Q值迭代式上的相似性，提出可用一类分层分布式混合Q学习算法来综合各算法。用具有多步回溯能力的半马尔科夫决策算法来改进所提出的随机均衡对策算法。编制新一代SGC软件，并在实时仿真系统验证其有效性和工程实用性。

智能发电控制（SGC）是适应智能电网要求的下一代自动发电控制系统（AGC）。本项目提出了一个全新概念—“混合均衡态”来解释SGC多智能体的相互作用和最优平衡状态，并将SGC随机优化控制问题建模为一个基于混合均衡态的随机均衡对策问题来综合求解。本项目经过四年的研究取得了丰硕的成果：（1）提出了新型多群组均衡协同搜索算法（EMGSS）及改进后可进行并行计算的强化Pareto多群组搜索优化（MP-GSO）算法，以解决多目标、强约束、大规模电力系统三次调频优化调度问题；利用决策论平衡决策原理，提出了一种面向工程应用的AIMS-Q(λ)算法，解决了发电侧/电网侧复杂系统的碳-能混合流多目标优化问题。（2）提出了分散式多智能体均衡对策（DCEQ(λ))算法和改进的分布式狼爬山算法(DWoLF-PHC)算法，解决互联电网各省之间动态博弈过程的模拟及SGC系统设计问题。DWoLF-PHC在解决控制结构相同的同构多智能体之间的动态博弈和对策求解问题上具有显著优势，与 Nash-Q和CEQ等算法相比,可降低多 Agent 问题求解的空间复杂度。（3）提出一种分层相关均衡强化学习（HCEQ）的方法，解决AGC指令的动态优化分配问题。对方法进行进一步改进后，运用分层优化和资格迹的概念，进一步提升了HCEQ(λ)的收敛能力。（4）利用Java多智能体开发通用工具JADE，开发了基于JADE的电力系统多智能体自动发电控制仿真研究平台，可便利地对比不同SGC控制策略对多区域互联系统的协作控的效果，且可深入研究多智能体通信系统架构、通信时延以及并行计算等工程实用性问题。.到项目结题时间为止，项目已经完成成果指标如下：（1）目前发表高水平国内外期刊论文23篇（含录用），其中SCI国际期刊论文10篇，在国内权威期刊与学报上发表了13篇论文，SCI期刊论文完成率达到计划值的200%。（2）按要求完成了“基于JADE的SGC软件系统”一套，获得软件著作权一项。（3）在SGC领域，申请了3项发明专利全部处于公示阶段。（4）人才培养及国际交流等目标也按计划完成。