基于自适应动态规划的脉冲系统优化方法研究

脉冲系统作为一类新型系统，已成为控制领域和微分方程领域的交叉研究热点。实用的优化方法对脉冲系统的优化实现具有关键作用，本项目拟采用基于自适应动态规划(Adaptive Dynamic Programming, ADP)的理论和方法，针对定时/变时脉冲系统的无限时间最优控制问题进行研究。首先采用目标函数误差为最优判断条件，以神经网络作为函数拟合工具，构建脉冲ADP在线迭代优化算法，求解脉冲最优控制；其次将建立脉冲ADP算法对应的目标函数迭代序列，证明脉冲ADP算法的收敛性,考虑神经网络拟合精度对算法收敛性的影响，分析脉冲ADP优化方法对系统参数的鲁棒性和对初始控制率策略的鲁棒性；最后对典型的脉冲优化问题进行仿真验证。通过本项研究，可望揭示自适应动态规划方法对于脉冲系统优化的适用性，建立对定时/变时脉冲系统一般适用的在线脉冲ADP优化方法。

通过2011.1-2014.12三年的研究，本项目的预期研究目标已基本达到。.该项目基于自适应动态规划(Adaptive Dynamic Programming, ADP)的理论和方法，针对定时/变时脉冲系统的无限时间最优控制问题进行了研究。通过本项目研究，构建了脉冲最优控制的迭代数值计算方法，通过ADP的值迭代和策略迭代的交替进行，最终渐进地获得最优脉冲控制数值解。本项研究针对定时脉冲系统和变时脉冲系统，构建了不同的ADP在线和离线算法，并从理论上阐明脉冲ADP算法的收敛性，揭示自适应动态规划方法对于脉冲系统优化的适用性，解决脉冲系统的优化问题。主要成果如下：.1. 针对线性脉冲系统优化问题，提出了基于自适应动态规划的在线和离线定时算法。采用单神经网络的HDP(Heuristic Dynamic Programming)结构，交替进行值迭代和策略迭代，以值迭代的相对误差为判断准则，渐进地获得最优脉冲控制数值解。证明了相关算法的收敛性已经证明，并通过仿真展示了算法的正确性。.2.针对非线性定时脉冲系统优化问题，由于在策略迭代和值迭代的时候，同时存在泛函优化和函数优化问题，在策略迭代的时候，采用变分法的思路，进行范函极值的求取，在值迭代迭代中，采用梯度法，进行函数极值的优化。将两种思路融合在一起，可解决非线性定时脉冲优化问题。证明了相关算法的稳定性，并通过仿真展示了算法的有效性。.3. 对于变时脉冲系统，通过变分法，给出了变时脉冲系统优化的一阶条件，并提出了以脉冲发生后目标函数对状态的偏导数(协态)为输出的单神经网络自适应校正结构，实现目标函数的优化。通过系统仿真说明了算法的有效性。