可列状态Markov系统性能优化的理论研究及通信网络中的应用

Markov系统的性能优化理论是解决很多理论领域（运筹学、控制理论、计算科学、经济学、生物学、通信网络、金融和排队理论等）和实际应用系统（通信、生产制造系统、服务管理、金融保险和物流管理等）中的性能评价和优化控制问题的一个非常重要的理论基础。对有限状态多链的Markov系统，从灵敏度分析的角度，对各种的优化准则，我们得到非常完整的一套理论结果。本项目的主要研究内容有：（1）用灵敏度分析方法解决可列状态Markov系统的性能优化问题。基于灵敏度分析的方法有很多优点，它可以解决传统的Markov决策过程解决不了的一些问题。（2）复杂通信系统的建模和解决通信网络中的控制问题。通信系统的发展用Markov链来描述，通过控制它的转移概率来实现我们的控制目标。上述研究内容具有前沿性，一定的创新性和很强的实用性，它的完成将推动优化理论的新进展和提高通信网络的利用率和服务质量以及降低服务成本。

1.研究计划中的离散时间可列状态空间，行动空间是有限集合或者紧集合的Markov决策过程中，折扣准则的理论已经完成，给出了最优方程和最优策略。模型中行动空间是紧集，转移概率和报酬函数都可能是无界的情形。在一些条件下，证明了存在一个模型序列，其中每个模型中的状态空间和行动空间都是有限的，无论最优值函数和最优策略都收敛到原模型的最优值函数和最优策略。这样就给出了一个求解可列状态空间最优策略的逼近算法。.2.由于出国访问一年期间合作的研究内容与本项目联系不是很大，研究计划中的可列状态空间，平均准则理论的研究没有完全完成，但是有部分结论。.3.完成了计划中没有的一般状态空间Markov决策过程平均准则下平稳最优策略存在的条件的相关问题。结果是我与纽约州立大学石溪分校的Christopher J. Bishop和Eugene A. Feinberg 教授合作完成的，论文《Examples concerning Abelian and Cesaro limits》已经发表到JOURNAL OF MATHEMATICAL ANALYSIS AND APPLICATIONS。 .4.研究计划中的交流访问超额完成，参加2次国内学术会议，一次国际学术会议和多次国内外学术交流。.5.研究计划要求协助完成博士研究生论文2篇，完成硕士研究生论文1篇。协助郭先平教授指导魏清达和吴晓博士研究生论文，指导金都，郑凌子和鹿瑞瑾等完成7篇统计专业硕士研究生论文。也超额完成计划。.6.研究计划中在国内外重要学术刊物上发表或者接受5篇以上论文。本项目发表5篇论文，接受并马上发表1篇。也完成计划。