具有马氏特性随机环境下的自适应动态规划模型设计及其应用研究

现有研究表明，动态规划模型可为求解随机环境中的优化问题提供有竞争力的方案。然而，现有动态规划模型的环境反馈机制不能很好地适用于随机环境中的优化问题，此问题源于缺乏合理有效的随机环境仿真模型，另外，模型知识的特征公式化和反馈信息的集结还缺少理论指导，且动态规划模型有效性尚未有理论分析。以上因素严重制约了自适应动态规划模型的发展和实际应用。本项目拟构造随机发生器进而仿真具有马氏特性的随机环境并验证模型有效性，提取环境特征实现公式化，合理集结反馈信息，旨在从理论分析入手，揭示部分具有马氏特性随机网络环境的内在规律，从而设计基于马氏特性随机环境、控制系统以及奖惩因子的自适应动态规划模型。应用研究层面，欲将该模型应用于多目标路径规划以及电力市场动态分区定价两方面，并对模型的性能进行理论分析与评价。本项目的成功实施，将为具有马氏特性的随机环境下多目标路径优化、电力市场定价问题的研究提供新的思路和方法。

可逆的马尔科夫链在多种领域有着应用。面向随机动点移动的研究，主要集中于位置索引模型的建立。目前在固定网络上的动点移动模拟实验，大多设定二维路径网固定，对环境变化以及可移植性的研究较少。动点移动的模拟实验以随机游动研究为主，更多的是从索引角度出发，面向动点定位进行研究，而提供一个良好的模拟实验环境的平台设计较少，环境条件多变时无法模拟随机运动对象在每一时刻的状态信息。本项目针对具有马氏特性随机环境下的仿真做了一定研究工作，并针对不确定对象进行了基于霍夫丁边界的进化规划模型设计，随后对该模型的应用做了若干研究，具体研究工作主要从三个方面展开：首先，针对随机路径网，为移动对象速度可变、路径选择随机的复杂随机行为建立了一种新模型，反应了多变环境条件下的移动对象运动过程；其次，提出了一种基于霍夫丁边界的遗传规划算法，初步构建遗传规划系统的理论框架，并着重分析其多状态反馈、回归分析下的自适应学习算法的收敛性和有效性，以此作为指导后续应用研究的理论基础；最后，以应用为导向，探讨拓展其集成系统的研究工作，并以相关研究为契机取得具有我国自主知识产权的研究成果。.研究工作的主要成果在于针对随机路径网、移动对象速度可变、路径选择随机的复杂随机行为建立新模型，能够正确地反映移动对象的随机变化；针对不确定对象做了基于霍夫丁边界的进化规划算法设计并做了相关应用研究。