基于模糊逻辑的大规模强化学习理论及方法

In allusion to the problem of "the curse of dimensionality" when dealing with reinforcement learning problems with large scale, this project puts forward several reinforcement learning methods based on type-1 and type-2 fuzzy logic. The main idea is to construct the neural fuzzy reinforcement learning models applied to the reinforcement learning problems with large scale, which combines the type-1 fuzzy inference, type-2 fuzzy inference and neural fuzzy inference with reinforcement learning methods.Using double layer fuzzy inference system or fuzzy inference system that based on neuro nuits to represent the features of state space, which can efficiently decrease the dimension of state space and increase the speed of convergence; Constructing a type-2 fuzzy reinforcement learning model based on type-2 fuzzy inference, which can improve the ability of handling uncertainty and be robust to noise; In order to improve the accuracy of Q value functions, the cross entropy optimization method is used to optimize the parameters of membership functions; Besides, the project plans to apply the proposed three methods to the algorithms used in the deep web, which can help solve the problems of slow convergence speed or non-convergenc caused by the high dimension of state space or the uncertainties of semantic information.

本项目针对在解决大规模强化学习问题时存在的"维数灾"问题，提出基于一型和二型模糊逻辑的强化学习方法。主要思想是将强化学习方法与一型、二型模糊逻辑和神经网络相结合，构建可用于大规模强化学习问题的神经模糊强化学习模型：⑴使用双层模糊推理系统或基于神经元的模糊推理系统对状态空间进行特征表示，可以有效的减少状态维数，加快强化学习算法的收敛速度；⑵构建基于二型模糊推理的二型模糊强化学习模型，进一步提高算法处理不确定性的能力以及对噪声干扰的鲁棒性；⑶采用交叉熵优化方法优化模糊强化学习模型的隶属度函数参数，以提高Q值函数的精确性。⑷将所构建的几个模糊强化学习系统用于大规模Deep Web网络信息搜索中，解决由于状态空间的高维性及语义信息的不确定性引起的Deep Web搜索中收敛速度慢甚至无法收敛的问题。

本项目针对在解决大规模强化学习在解决问题时存在的“维数灾”问题，提出基于一型和二型模糊逻辑的强化学习方法并应用于现实环境中。主要完成的工作包括：⑴使用双层模糊推理系统或基于神经元的模糊推理系统对状态空间进行特征表示，提出了带资格迹的双层模糊状态知识表示方法并构造出二型模糊推理的模糊推理器，通过知识表示和推理，不仅可以提高算法的收敛速度，还可以用于获取连续行为策略；⑵构建二型模糊推理的二型模糊强化学习模型，并证明了二型模糊逻辑在处理模糊性的能力方面要高于一型模糊逻辑，使用该推理器，在提高效率的同时，还可以增强对噪声干扰的鲁棒性；⑶采用交叉熵优化方法优化模糊强化学习模型的隶属度函数参数，先根据随机初始化的隶属度函数获得收敛的策略后，在使用此策略进行蒙特卡罗采样，以提高Q值函数的精确性。⑷在设计实现上述理论及优化算法的基础上，实现了系统原型，并应用于大规模Deep Web网络信息搜索中，解决由于状态空间的高维性及语义信息的不确定性引起的Deep Web搜索中收敛速度慢甚至无法收敛的问题。.该项目取得的重要结果包括以下几个方面：.(1) 将强化学习方法与模糊推理系统及神经元相结合。理论研究成果以论文及专利的形式发表。(2) 设计实现具有较高效率的基于新型模糊推理系统和神经模糊系统的强化学习仿真平台，并应用于Deep Web信息搜索中。(3) 在国际学术刊物、国际学术会议和国内权威期刊发表学术论文29篇，其中被SCI、EI收录20篇，撰写专著1部。.(4) 申报发明专利3项，申请软件著作权5项。(5) 培养博士研究生3名。毕业博士研究生1名、硕士研究生6名。