复杂动态系统数据驱动的强化学习控制研究

With the rigorous development of the modern process industry, the process dynamics and system complexity have been drastically increased, which imposes great challenges in development of precise modeling and model-based control approaches. Efficient strategy for effectively managing big data and integrating it into the data-driven control and optimization of the process is a key issue to be dealt with in the process control field. Dynamic programming based data-driven reinforcement learning control of the complex dynamical system using historical data and on-line data motivates the research in this project. How to establish the corresponding control scheme is considered, and four key aspects are investigated, which include: 1）Research on on-line policy evaluation theory; 2) Research on system sparsification and regularization method in policy evaluation; 3) Research on computational complexity and parameter sensitivity of algorithm; 4) Research on performance monitoring of data-driven reinforcement learning control. Finally, the research on the construction of the data-driven on-line reinforcement learning control and its realization in process plant are explored. The proposed system scheme can be easily integrated with existing control methods and contribute to the effective complementary solution for complex dynamical system which is difficult to model. The proposed approaches for these problems can not only contribute to the development of the data-driven reinforcement learning control theory for complex dynamical system, but also provide an effective solution for the process control in chemical industry.

现代流程工业的过程动态特性和系统复杂性日益增强，给基于模型的控制方法带来困难。如何有效利用设备积累的海量数据，实现数据驱动的优化控制是目前过程控制领域亟待解决的问题。本项目的目标是基于动态规划理论，研究有效利用过程历史数据和在线数据，开发可用于复杂动态系统的数据驱动的强化学习控制方法，建立相应的控制系统框架，并围绕影响其应用的四个关键问题展开研究，具体包括：1）在线策略评价算法研究；2）策略评价中的系统稀疏化和正则化方法的研究；3）算法复杂度和参数灵敏度研究；4）ADP控制器性器能监测方法研究。最后，据此构建数据驱动的在线强化学习控制框架并进行应用研究。所给出的系统框架可以灵活地与现有方法结合，为难以精确建模的复杂动态系统控制问题提供补充的解决方案。这些问题的解决，不仅可为数据驱动的强化学习控制应用提供理论支持，也为化工领域过程控制提供新的思路和解决方案。

外部扰动、数据噪声、时变性的存在使得不易获得模型的系统优化控制变得困难。本项目对复杂动态系统数据驱动的强化学习控制进行了理论研究与分析。从高样本利用率强化学习方法、ADP控制器设计方法、扰动观测器设计及抗扰控制，以及控制器性能在线评价方法四个方面展开，提出了一系列实用新型数据驱动算法，用于解决复杂多变量系统的优化控制问题。高样本利用率强化学习方法研究表明，L1和L2范数正则化能够有效地提高策略评价和控制学习方法的学习速度和样本利用率，实现基函数选择功能，并对噪声具有鲁棒性。在ADP跟踪控制方法中提出了一种新型的动作网络，提高算法的稳定性，同时降低人为调整超参数的负担。通过在ADP的设计中引入扩张状态观测器，将观测出的系统状态，特别是对未知动态或扰动的扩张观测状态作为ADP的输入，能够提高控制精度。对线性自抗扰控制器性能的稳定域分析发现，双轨迹法可以准确地确定出参数稳定区域，能够有效地辅助工业过程参数整定，简化应用过程。本项目研究所提出的在线强化学习控制框架不仅有助于数据驱动的强化学习控制理论的完善，也将研究成果向深度强化学习等更具应用前景的新型强化学习算法转化，推进了算法的实用化，因此具有重要的实际意义。