基于策略迭代算法的随机Markov跳变系统优化控制研究

As a kind of important dynamic stochastic systems, the optimal control schemes of Markov jump systems are mostly confined to parametric and performance index optimization, and these approaches are always based on Lyapunov functional and off-line. Policy iteration algorithm is proposed in recent years that can be used for on-line optimal control. Compared with other existing off-line methods, it does not require all the knowledge of the system internal dynamics. By constructing the infinite horizon integral cost function which describes the relationship between states and control inputs, and applying policy evaluation and policy improvement steps, the on-line policy iteration optimal control of stochastic Markov jump systems is drew up to develop. For linear case, it requires to solve the iterative feedback controller and optimal control scheme associated with algebraic Riccati equation. And for nonlinear case, the T-S fuzzy control model and linear differential inclusion representations are first established for approximating the system model, and then it achieves the policy iteration optimal controller design by using Actor-Critic learning control and least squares methods. Through the research contents, this project aims to propose a new online optimal control algorithm for stochastic Markov jump systems.

Markov跳变系统作为一类重要的动态随机系统，其现有的优化控制方法大多是建立在Lyapunov函数基础上的参数优化和性能指标优化，基本属于离线方法。基于策略迭代的控制算法是近几年提出的一种可应用于在线优化控制的算法，与离线方法相比，该方法并不要求系统模型完全已知。本项目拟通过建立描述状态量和控制量关系的一种无限时域的积分代价函数方程，使用策略评估与策略改进步骤，实现随机Markov跳变系统的在线策略迭代优化控制。针对线性跳变系统，结合状态反馈控制方法，在线求解代数Riccati方程以获取迭代的反馈控制器，及在线的优化控制策略；针对非线性跳变系统，应用T-S模糊控制和线性微分包含方法展开工作，并结合Actor-Critic学习控制算法和最小二乘算法，实现其在线的策略迭代优化控制器设计。通过上述内容的研究，提出适合随机Markov跳变系统的新的在线优化控制算法。

Markov 跳变系统作为一类重要的动态随机系统，其现有的优化控制方法多局限于求Lyapunov 方程基础上的参数优化和性能指标优化，基本属于离线方法。基于策略迭代的控制算法是近几年提出的一种可应用于在线优化控制的算法，与离线方法相比，该方法并不要求系统模型完全已知。.本项目以具有实际应用的随机Markov 跳变系统为对象，提出了基于策略迭代算法的随机系统优化控制问题，主要围绕跳变切换模型集合、T-S 模糊模型集合、线性微分包含集合展开工作，具体的研究内容包括：线性Markov 跳变系统的策略迭代优化控制算法分析, 非线性Markov 跳变系统的建模以及线性化处理以及非线性Markov 跳变系统策略迭代优化控制算法研究。.重要的结果包括：(1). 针对线性跳变系统情形时，结合状态反馈控制方法，在线求解代数Riccati方程以获取迭代的反馈控制器，及在线优化控制策略：1. 在系统动态信息部分已知的情况下，研究了一类线性连续的Markov跳变系统的新的在线自适应优化迭代控制算法; 2. 基于迭代控制算法，研究了一类线性连续的Markov跳变系统的新的离线和在线H∞控制算法，并对两种控制算法进行了比较; 3. 利用并行Kleinman迭代算法，研究了一类线性连续的Markov跳变系统的H∞控制器求解问题。(2). 针对非线性跳变系统，应用T-S 模糊控制和线性微分包含技术建立模型，并结合Actor-Critic 学习控制算法和最小二乘算法，实现其在线的策略迭代优化控制器设计。以上的具体成果见发表的论文以及结题报告正文。.通过本项目资助，共发表相关期刊学术论文8篇，均被SCI收录，学术会议论文5篇，其中4篇被EI收录，录用论文3篇，其中1篇为SCI源刊，2篇为EI源刊，为国内控制学顶级期刊，攥写科研专著一本。通过本课题共培养了8名硕士研究生，其中4人已经毕业。基本完成了预期目标。