基于数据的多控制器系统自学习最优控制

Many complex plants are steered by multiple controllers, which are coupled and competitive. Therefore, the design of controllers is not only independent of the system models, but also required to meet the balance of the performance indexes, when their models are very difficult to be built. For optimal control problems of multi-player systems, this project will establish a set of new self-learning optimal control theories and schemes based on input-output data. The main works include: 1. The data-based non-zero-sum games are solved for discrete-time multi-player linear systems. 2. Off-policy self-learning optimal control method is proposed for continuous-time nonlinear systems with different control weight functions. 3. The virtual identifier is used to estimate the state of multi-player systems under attacks. The robust adaptive optimal control method is developed, and the update method of attack compensation controller is given. The stability of the closed-loop system is analyzed. 4. The Stackelberg-Nash saddle equilibrium point of the games is derived for hierarchical multi-player systems under attacks. The stability of the closed-loop system is proven. The results of this project can not only enrich the existing works based on data-based control, adaptive dynamic programming and multi-player systems, but also provide useful references to improve the efficiency and intelligence of practical systems.

许多复杂被控对象受到多个控制器的共同作用，控制器之间相互耦合相互竞争，因此在系统模型难以建立的情况下，控制器的设计不仅要独立于系统模型，而且要满足各控制器性能指标均衡性的要求。本项目针对多控制器系统最优控制问题，将提出一套新的基于数据的自学习最优控制理论与方法。主要内容有：1针对离散时间多控制器线性系统最优控制问题，提出基于数据的非零和博弈控制方法；2考虑控制器增益不同的连续时间多控制器非线性系统博弈，设计被动策略自学习最优控制方法；3基于虚拟辨识器估计受到攻击的多控制器系统状态，建立鲁棒自适应最优控制方案，给出攻击补偿控制器的更新方法，保证闭环系统稳定；4针对受到攻击的主从多控制器系统最优控制问题，建立斯塔克尔贝格-纳什均衡求解方法，证明闭环系统的稳定性。该项研究不仅可以丰富现有基于数据控制理论、自适应动态规划理论及多控制器系统的研究内容，而且为提高实际系统的高效性和智能性提供有益借鉴。

随着科学技术及人工智能的蓬勃发展，工业生产控制系统发生了一些重大变化，系统由单一控制器变为多个控制器，各个控制器之间相互耦合或相互作用。同时人们对于各种工程系统和计算设备的需求已不仅仅局限于系统功能的扩充，而是更关注系统资源的有效利用，系统性能效用的优化，以及服务个性化与用户满意度的提升。因此各方资源的合理高效分配，系统性能的优化是实现优化产品质量，提高生产效益和节能减排的关键。因此在系统模型难以建立的情况下，控制器的设计不仅要独立于系统模型，而且要满足各控制器性能指标均衡性的要求。针对多控制器系统的最优控制问题，本项目提出了一套新的基于数据的自学习最优控制理论与方法。主要内容包括：1）离散时间多控制器系统非零和博弈；2）连续时间多控制器系统非零和博弈；3）受到攻击的多控制器系统最优控制；4）受到攻击的主从多控制器系统最优控制。基于研究内容，发表/录用论文37篇，其中期刊论文28篇，JCR一区论文14篇。申请发明专利4项。培养博士后2名，培养博士生4名，培养硕士研究生10人。本项目研究成果极大地扩展自适应动态规划理论的研究领域，开辟多控制器系统最优控制问题研究的新思路，为实际生产过程能够依据系统运行数据做出高效率的决策提供了强有力的理论支持。