基于随机优化方法的随机动态博弈理论

Stochastic optimizations are a very powerful tool to describe and analyze dynamic system, studying how to choose a policy to optimize a given performance according to the system states. Stochastic games are generalizations of repeated games which correspond to the special case where there is only one state. Stochastic optimizations deal with the dynamic systems with one decision maker, while Stochastic games deal with the dynamic systems with more than one decision maker. Based on the intimate connection between stochastic optimizations and stochastic games, we solve the theoretical problems in stochastic games using the methods and results in Stochastic optimizations. This project has the following research contents: (1) searching the existence conditions of Nash equilibrium and computation methods of average criterion, discounted criterion, variance punishment criterion, mean-variance criterion, first reaching object criterion, probability criterion, VaR and AVaR in non-cooperative stochastic games; (2)finding a new objective function in bargaining model to avoid the ultimatum bargaining; (3) building theoretical framework of cooperative stochastic game theory. Since stochastic optimal Stochastic games have applications in economics, evolutionary biology and computer networks, these work has important theoretical significance and application value.

随机优化是描述和分析动态系统优化决策的有力工具，研究如何根据随机系统状态的变化来采取相应的决策，使系统运行的结果在某种准则下达到或接近最优。随机博弈是经典博弈论的推广，是重复博弈的一般化过程。随机优化研究只有一个决策者的受控随机动态系统，而随机博弈是研究有多个决策者，而且决策相互作用的受控随机动态系统。本项目基于随机优化和随机博弈的密切关系，利用随机系统优化的方法和结果，解决随机博弈中的理论问题。具体研究内容有：1.在非合作的随机博弈中，研究在平均准则，折扣准则，方差惩罚准则，均值-方差准则，首达目标准则、概率准则以及VaR、AVaR下均衡解的存在条件和计算方法；2.在纳什的讨价还价模型中，给出新的目标函数，使目标函数优化的解能避免可置信威胁的出现；3.建立合作的随机博弈的理论框架。由于随机博弈在经济、演化生物学和计算机网络中都有应用，所以这些问题的解决有重要的理论意义和应用价值。

随机优化是描述和分析动态系统优化决策的有力工具，研究如何根据随机系统状态的变化来采取相应的决策，使系统运行的过程在给定的某种准则（如平均收益、折扣收益、概率准则、平均风险值等）下达到最优。.随机动态博弈是经典博弈论的推广，是重复博弈的一般化过程。随机优化研究只有一个决策者的受控随机动态系统，而随机博弈是研究有多个决策者，而且决策相互作用的受控随机动态系统。对于随机动态博弈，研究多个决策者如何进行决策，使决策可以达到均衡。.本项目基于随机优化和随机动态博弈的密切关系，利用随机系统优化的方法和结果，解决随机动态博弈中的理论问题。.项目主要研究了几种不同准则（包括平均风险值AVaR和指数型效用函数的风险敏感）下基于马尔科夫决策过程的随机优化和随机动态博弈问题。我们研究的风险型指标(AVaR和风险敏感)除了考虑收益以外，还考虑存在的风险。AVaR准则是对最坏情况的一个控制。风险敏感准则是基于指数型效用函数提出的。.项目考虑的状态空间和行动空间都是一般的Borel空间，并且报酬率、转移率以及终端报酬都是上下无界，策略可以依赖于历史的情况。对于随机优化问题，给出了最优解存在唯一性和最优策略存在性的证明。对于随机动态博弈问题，在一定条件下，证明博弈值函数的存在性和唯一性以及马氏均衡策略的存在性，并首次提出了一种计算博弈值函数和纳什均衡策略的值迭代算法和给出了迭代算法的收敛性证明。对于独立状态过程的非零和连续时间约束平均随机动态博弈问题，我们证明了约束纳什均衡的存在性。最后证明了每个平稳纳什均衡对应于一个数学规划的全局极小值点。.风险敏感的随机优化和随机动态博弈在经济学、风险管理、生产制造、军事战略和演化生物学中都有很多应用。但是这种随机博弈的研究比较少。这些理论问题的研究对单个决策者或博弈双方的风险管理都有重要的指导作用。因此，本项目具有重要的科学意义和应用价值。