数值求解最优控制： 动态规划方法

寻找最优反馈是控制理论梦寐寻以求的目标. 但是除去一般线性系统的LQ 或LQS问题外及其少量个别例子外, 对一般非线性系统, 特别是无穷维系统,最优控制问题的最优反馈律的解析求解是不可能的. 所以数值求解是唯一可能且有实践意义的途径. 目前的数值求解最优反馈律主要是基于Pontryagin极大值原理的打靶法. 这个方法有两个主要的问题, 一是要猜测初值, 二是求出的控制是开环的. 本项目采取完全不同的途径,即数值求出由Bellman动态规划导出的HJB 方程为基础的最优反馈控制数值解. HJB方程的解由1980年代发展的粘性解理论所保证. 即最优控制问题的值函数是相应的HJB方程的粘性解. 基于粘性解理论数值求解最优反馈控制刚开始于我们已经开展的几个成功的数值求解最优反馈控制的例子, 本项目将提出一般的算法并证明算法的收敛性,特别关注分布参数系统.

本项目的主要目的是用动态规划方法数值求解最优控制。 是十分艰难的研究课题， 没有现成的结果可用。 我们发展了离散的HJB方程粘性解的数值解算法， 彻底证明了收敛性。再利用HJB方程的解提出计算具有反馈形式的数值最优控制的算法， 并严格的证明了收敛性。 考虑到HJB方程的数值解并不是全部有用， 所以我们围绕最优控制提出了一种局部算法， 在HJB方程解用过之后就不再保存， 所以算法有效克服了维数灾难。 可惜局部算法的收敛性虽然用数值实验所证实， 但由于一些可能的HJB数值的缺乏， 理论上收敛性还在进行。算法用到了HIV-AIDS治疗模型， 取得了成功。 . 本项目执行期间发表杂志论文22篇， 专著一本。 7篇主要国际会议论文。