基于贝叶斯推理的模糊逻辑强化学习模型研究

In allusion to the problem of "the curse of dimensionality" and balancing the exploitation and exploration in reinforcement learning, the project put forward the fuzzy logical reinforcement learning based on bayesian inference. The main idea is combining the reinforcement learning, fuzzy logic and bayesian inference, which uses fuzzy logic method to represent the state, action and some other things, constructs a fuzzy inference system based on the distribution of state transition and reward got by bayesian inference, optimizes the action selection policy, balances the exploitation and exploration, and modifies the inference system adaptively to maximize the performance of the algorithm. And at the same time, the project plans to use the proposed method to solve the problem of slow convergence or non-convergence of the algorithm used in deep web, which is caused by the high dimension of state or the uncertainties of semantic information. Therefore, the research of the fuzzy logic reinforcement learning based on bayesian inference both has certain theoretical value and broad application prospects.

本项目拟针对强化学习领域在大规模状态空间中"维数灾"以及在学习过程中平衡探索与利用的问题，提出基于贝叶斯推理的模糊逻辑强化学习方法。主要思想是将强化学习与模糊逻辑及贝叶斯推理相结合，采用模糊逻辑方法表示状态、动作等方面的知识，结合贝叶斯推理描述模型中状态转移及奖赏值的分布性，建立一个模糊推理系统，优化学习过程中的动作选择策略，平衡动作选择的探索与利用的问题，并在学习过程中自适应修正推理系统，以达到更大程度提高强化学习算法延展性及收敛性的目的。同时，拟将模糊逻辑强化学习算法用于大规模Deep Web网络信息搜索中，解决由于状态空间的高维性及语义信息的不确定性引起的 Deep Web搜索中收敛速度慢甚至无法收敛的问题。因此，基于贝叶斯推理的模糊逻辑强化学习模型的研究，既具有一定的理论价值，又有广阔的应用前景。

本项目针对在大规模状态空间中“维数灾”以及在学习过程中平衡探索与利用的问题，提出基于一型和二型模糊逻辑的贝叶斯强化学习方法。主要思想是将强化学习方法与一型、二型模糊逻辑和神经网络相结合，构建可用于大规模强化学习问题的神经模糊强化学习模型：⑴使用双层模糊推理系统或基于神经元的模糊推理系统对状态空间进行特征表示，可以有效的减少状态维数，加快强化学习算法的收敛速度；⑵构建基于二型模糊推理的二型模糊强化学习模型，进一步提高算法处理不确定性的能力以及对噪声干扰的鲁棒性；⑶采用交叉熵优化方法优化模糊强化学习模型的隶属度函数参数，以提高Q值函数的精确性。⑷将所构建的几个模糊强化学习系统用于大规模Deep Web网络信息搜索中，解决由于状态空间的高维性及语义信息的不确定性引起的Deep Web搜索中收敛速度慢甚至无法收敛的问题。基于贝叶斯推理的模糊逻辑强化学习模型的研究，既有一定的理论价值，又有广阔的应用前景。