有限范围随机最优控制系统的数值方法与均场倒向随机系统的最优控制问题研究

Traditional numerical methods for stochastic optimal control such as value iteration, policy iteration and the Markov Chain approximation method all rely on a mesh. Typically, the mesh is obtained by discretizing the state. But the method proposed in this project does not perform any discretization in the state dimension. Firstly, this project will display a numerical method for finite-horizon stochastic optimal control models, such as deriving a numerical method based on the solution of the stochastic minimum principle from piecewise-deterministic Markov processes. Then combining Monte Carlo pathwise simulation and non-parametric interpolation methods, we develop a numerical method. Second, this project will focus on optimal control problem for mean-field backward Stochastic systems: first of all, we will explore the well-posedness of the mean-field backward stochastic systems; And then, we will study the optimal control problems for mean-field backward stochastic system under no restricton on the convexity of control domain, such as partially observable problems and linear-quadratic optimal control problems etc; Finally, we will use a Malliavin calculus approach which will allow us to handle maximum principles for optimal control of non-Markovian systems.

随机最优控制的传统的数值方法总是依赖于网格，例如值迭代法、策略迭代法和马尔科夫链渐近法。这些网格又是由离散化状态区间而得到。然而在本项目的研究中我们提出的方法不再采用离散化方法。第一，本项目旨在研究有限范围随机最优控制模型的数值方法，例如尝试从分段确定的马氏过程的随机最小准则推出结果，并结合Monte Carlo模拟方法和非参数插值方法在最小准则解的基础上推导出一套数值方法。第二，该项目针对均场倒向随机系统的最优控制问题进行一系列的研究：首先，研究均场倒向随机解的适定性；其次，重点探讨在控制区域非凸的情形下均场随机系统的最优控制问题，例如部分可观测问题和LQ控制问题等，并运用Mallivian分析方法研究非马尔科夫型的均场随机系统的最优控制的最大值原理。

现代控制理论的核心之一是随机最优控制理论，随机最优控制理论早在60年代初就获得实际应用。我们研究的随机最优控制便是使随机控制系统的某个性能指标泛函最优的控制．解决随机最优控制问题的两种主要方法是庞特里亚金(Pontryagin)最大值原理和贝尔曼(Bellman)动态规划方法．两种方法分别从两个方面刻画了最优控制，最大值原理给出了最优控制满足的必要条件；动态规划原理建立了一族不同初始时刻和初始状态的最优控制问题与二阶PDE(HJB方程)之间的联系，通过优化HJB方程中的广义哈密顿(Hamilton)函数得到最优控制．. 本项目研究了随机最优控制系统的数值方法和倒向随机系统解的适定性等内容。第一，本项目研究了有限范围随机最优控制模型的数值方法，例如尝试从分段确定的马氏过程的随机最小准则推出结果，并结合Monte Carlo模拟方法和非参数插值方法在最小准则解的基础上推导出一套数值方法。第二，该项目针对均场和延迟倒向随机系统的最优控制问题进行一系列的研究：首先，研究均场和延迟倒向随机系统解的适定性；其次，重点探讨在控制区域非凸的情形下均场随机系统的最优控制问题，例如部分可观测问题和LQ控制问题等，并运用Mallivian分析方法研究非马尔科夫型的均场随机系统的最优控制的最大值原理。