基于灵敏度分析的可列状态Markov决策过程的理论研究

Markov系统的性能优化理论是处理和解决很多理论领域（运筹学、控制理论、计算科学、经济学、生物学、通讯网络、金融和排队理论等）和实际应用系统（通讯（Internet和无线通讯）、生产制造系统、服务管理、金融保险和物流管理等）中的性能评价和优化控制问题的一个非常重要的理论基础。对离散时间有限状态多链的Markov决策过程，从灵敏度分析的角度，对各种的优化准则(平均准则，bias准则，nth-bias准则等)，我们得到了非常完整的一套理论结果。本项目的研究内容是同样用灵敏度分析作为工具来处理可列状态Markov系统的性能优化问题。基于灵敏度分析的方法有很多优点，它可以解决传统的Markov决策过程解决不了的一些问题,例如行动选择不独立于状态。这种理论还可以把包括扰动分析，Markov决策过程，随机控制，强化学习等不同的优化理论放在统一的框架之下。