多尺度网络化离散事件动态系统策略优化

Our study on the multi-scale networked discrete event dynamic systems (NDEDS) shows that despite of the rich theory of Markov decision process, networked control, and simulation-based optimization, there are restrictions to apply these theories in practice. The key challenge is that the policy optimization does not explore the networked structure of the system and utilize the multiple models at different spatial and temporal resolutions. It is difficult to coordinate the low-resolution model that is computationally fast but requires global information and only estimates aggregated state, and the high-resolution model that can be applied in decentralized fashion and only requires local information but is computationally intensive. In this project we will explore a new idea, which is to quantify the prediction error and the probability of correctly selecting the best action by multiple models with different spatial and temporal resolutions and to explore the event-triggered system dynamics and the networked topology, to provide a systematic solution for policy optimization of multi-scale NDEDS. The advantage of this idea is 1) to clearly quantify the impact of multiple models with different spatial and temporal resolutions on decision making, and to best utilize the limited computing budget; 2) to quantify the global goodness of the policy in a probabilistic sense. The results of this project are expected to push forward a systematic solution for the policy optimization of multi-scale NDEDS in engineering practice.

我们对几类多尺度网络化离散事件动态系统（NDEDS）的研究表明，虽然马氏决策过程、网络化控制、基于仿真的优化在理论上有较完善的体系，在应用中却存在一些局限，其核心困难：策略优化一般未针对系统的网络化特点综合使用多个时间、空间尺度模型。因此相关方法在实际大规模系统中难以综合权衡大尺度模型（仿真速度快、但需要利用全局统计信息且只能估计聚集后状态）和小尺度模型（便于分布式使用、只利用局部微观信息、但仿真速度慢）。本项目拟从新角度，即量化多个时间、空间尺度模型以预测动态系统未来状态的精度、正确选择控制行为的概率，利用系统由事件驱动的特点，结合网络化结构，给出多尺度NDEDS策略优化的系统性方法。这种思路的优点是：1）明确量化多个时间、空间尺度模型对决策的影响，在有限计算量下充分利用不同模型的决策能力；2）策略的最优性在概率意义下可评价。本项目成果可望推进工程中多尺度NDEDS策略优化的系统性解决。

本项目主要研究多尺度网络化离散事件动态系统的策略优化理论及方法，针对多尺度事件驱动策略的性能估界及复杂性分析这一关键科学问题，主要研究并取得了三方面结果：(1)基于事件策略优化中多尺度模型的优选，针对给定的触发决策的事件集合，在不同时间和空间尺度上的多个系统模型间分配仿真计算量，最大化正确抉择的概率；(2)基于多尺度事件的集中式策略优化方法，通过定义在时间、空间尺度上具有嵌套关系的事件，提供了统一的基于事件策略优化框架，基于策略性能差分与性能微分公式提出了有效求解方法；(3)跨尺度事件驱动的分布式策略优化方法，研究了策略在不同时间、空间尺度上变换时的投影与聚集方法，权衡基于不同时空尺度的事件进行决策的策略复杂度与性能之间的关系。上述工作，分别针对多尺度模型、多尺度事件、分布式三方面，为多尺度网络化离散事件动态系统的策略优化理论与方法，做出了贡献。