复杂非线性系统数据驱动自学习最优控制理论与方法研究

In this project, a new data-driven self-learning optimal control for complex industrial nonlinear systems will be studied. According to the difficulties of mathematical modeling for the current complex industrial systems, a new data-driven adaptive dynamic programming based self-learning optimal control theory and method will be established, which openes up a new research area for controls and optimaztions of complex industrial nonlinear systems. The main research contents include: 1. Develop a new data-driven value iterative adaptive dynamic programming of complex nonlinear systems and analyse convergnce and stability properties. 2. Develop a new data-driven policy iterative adaptive dynamic programming of complex nonlinear systems and analyse the convergnce and stability properties. 3. Establish a new stable data-driven iterative adaptive dynamic programming theory, which overcomes the disadvantages of value and policy iterative adaptive dynamic programming methods, and develops the superiorities of the algorithm. 4. Construct a new error-based data-driven iterative adaptive dynamic programming method, which overcomes the inaccuracy of the systems by the data-driven methods, and obtains the optimal control of the system. 5. Verify the corrections of the research results by simulations and then apply the research results to real control platform of industrial systems to create economic benefits. This project will also provide a new direction of optimal control theory for complex control system and push forward the frontier of China's automation techniques.

本项目拟研究复杂工业非线性系统数据驱动自学习最优控制问题。针对复杂工业系统数学模型难以建立的情况，拟建立一套以数据驱动自适应动态规划为主线的新型非线性系统自学习最优控制理论与方法，开辟复杂非线性系统控制与优化的新途径。主要研究内容包括：1.研究复杂非线性系统新型数据驱动值迭代自适应动态规划最优控制方法并分析其收敛性与系统稳定性；2.研究复杂非线性系统新型数据驱动策略迭代自适应动态规划最优控制方法并进行性能分析；3.建立复杂非线性系统数据驱动稳定迭代自适应动态规划最优控制理论，克服传统迭代方法的本质性不足，发挥自适应动态规划方法最大优势；4.研究误差存在情况下的自适应动态规划方法，克服数据驱动方法的不精确性对系统造成的影响,获得系统最优控制策略；5.通过软件仿真验证理论成果并应用于实际工业系统，创造效益。上述研究成果将为复杂非线性系统最优控制理论的发展提供新思路，推动我国自动化技术深入发展。

本项目研究非线性控制系统新型数据驱动迭代自适应动态规划最优控制理论与方法。针对复杂工业非线性控制系统，在系统模型未知的情况下，提出解决复杂工业控制系统自学习最优控制的自适应动态规划方法，研制出数据驱动自适应动态规划最优控制器，并在工业生产中应用验证。在国家自然科学基金支持的四年中，课题组顺利并超额完成了申请书和计划书中的预期成果。所获得的研究成果包括： 1. 研究带有系统误差的自适应动态规划收敛性分析，建立带有系统误差的自适应动态规划方法以及稳定性、收敛性及最优性理论。2. 提出基于数据的广义策略迭代方法，将现有的值迭代和策略迭代自适应动态规划方法均纳入到广义策略迭代方法之中，构成统一的迭代形式以及分析方案。3. 建立了数据驱动稳定迭代自适应动态规划方法，使得初始条件容易满足，且控制系统能够保证稳定。4.针对带有储能设备的智能住宅微电网系统，提出了一系列自学习方法，获得储能设备的最优充放电控制策略，使得用电系统的耗电量达到最小。上述研究成果将为基于数据的控制理论和非线性系统控制理论的发展提供新思路，丰富其研究内容，同时能推动我国智能电网技术的深入发展和我国经济的向前迈进。