基于近似动态规划的数据驱动非线性多输入多输出在线优化与控制算法

With the development of marine science, aerospace, energy chemical industry, biomedical and management science etc., many complex systems are facing with optimization and control problems. The approximate dynamic programming solves the "curse of dimensionality" problem of dynamic programming, which is an emerging method for solving optimization and control in recent years. This project, based on analysis of optimal systems, researches the structures and methods of approximate dynamic programming and presents its algorithm, firstly focusing on an integrated problem of three demands on nonlinear multi-input multi-output structure, online learning and data driven method. The research is carried out from the following four aspects: 1) the structure topology of nonlinear multi-input multi-output approximate dynamic programming based on topology principle; 2) the local average approximation to the cost function of the critic module of approximate dynamic programming adopting data-driven K-Nearest Neighbor approach; 3) the policy iteration calculation of the multi-output action module of approximate dynamic programming with a exponential convergence performance; 4) the synchronous learning of the critic and action modules and their online optimization and control. This research will lay a theoretical and applied foundation for data-drive nonlinear multi-input multi-output online optimization and control based on approximate dynamic programming. The research is also a consistent demand and consensus for the above science and engineering areas in optimal control, artificial intelligence, energy conservation, decision support and logistics management as well as other aspects.

随着海洋科学、航空航天、能源化工、生物医学以及管理科学等的发展，许多复杂系统面临着优化与控制的难题。近似动态规划解决了动态规划的维数灾问题，是近年来兴起的一种近似优化新解法。本项目基于优化系统的分析，首次针对非线性多输入多输出结构、在线学习、以及数据驱动这三个集中需求的一个综合问题，在一个新的层次上研究近似动态规划的结构与方法，并提出其学习算法。研究围绕以下四个方面展开：1)基于拓扑原理构建非线性多输入多输出近似动态规划的结构；2)采用数据驱动K近邻方法逼近近似动态规划多维输入评价模块的代价函数；3)面向指数收敛性能计算近似动态规划执行模块的多输出策略迭代；4)评价与执行模块的同步学习及其在线优化与控制。为实现基于近似动态规划的数据驱动非线性多输入多输出在线优化与控制奠定理论及应用基础；这也是上述很多科学和工程领域在优化控制、人工智能、节能减排、决策支持以及运筹管理等方面的一致需求与共识。

随着海洋科学、航空航天、能源化工、生物医学以及管理科学等的发展，许多复杂系统面临着优化与控制的难题。近似动态规划解决了动态规划的维数灾问题，是近年来兴起的一种近似优化新解法。本项目基于优化系统的分析，首次针对非线性多输入多输出结构、在线学习、以及数据驱动这三个集中需求的一个综合问题，在一个新的层次上研究近似动态规划的结构与方法，并提出其学习算法。. 研究围绕以下四个方面展开：1)基于拓扑原理构建非线性多输入多输出近似动态规划的结构。2)采用数据驱动K近邻方法逼近近似动态规划多维输入评价模块的代价函数。3)面向指数收敛性能计算近似动态规划执行模块的多输出策略迭代。4)评价与执行模块的同步学习及其在线优化与控制。. 结果：1）构建出四种非线性多输入多输出的近似动态规划结构，即执行网络扩展方法、子网方法、级联执行网络方法、组合方法。论证了其梯度下降训练算法不满足复合矩阵/向量对标量求导的链式法则，并给出解决方案和该四种方法的算法公式。 2）采用K近邻方法逼近评价网络的值函数，以克服神经网络的固有缺点，获得良好数据驱动能力；采用神经网络逼近执行网络控制输出，以获得非线性和多输入多输出性能，并添加持续激励信号，以逼近指数收敛；得出混合方法的近似动态规划。3）采用Lyapunov稳定理论，证明了在二次型、平方加权和、绝对值/模之和的效用函数下，非线性多输入多输出近似动态规划具有稳定与收敛性能。4）基于二次型形式逼近评价网络值函数，多输入多输出ADRC解耦控制逼近执行网络控制输出系数，得出一种不采用神经网络的在线数据驱动非线性多输入多输出近似动态规划方法。并以发动机缸平衡和水下热滑翔机姿态调节的优化控制为例，验证其优化与控制效果。. 研究结果为实现基于近似动态规划的数据驱动非线性多输入多输出在线优化与控制奠定理论及应用基础；这也是上述很多科学和工程领域在优化控制、人工智能、节能减排、决策支持以及运筹管理等方面的一致需求与共识。