变结构学习自动机的自适应与协同优化算法

Learning automaton is a reinforcement learning-based probabilistic automaton used to learn the probabilistic feature of the unknown random environment. Learning automata have been greatly developed in their theory and algorithms. They already gained success in many application fields, such as pattern recognition, scheduling and allocation, congestion avoidance, games, Markov chain control and function optimization. Variable structure learning automata represent the mainstream of the present research. This project concentrates on the self-adaptation and cooperation of the variable structure learning automata. First, we will define the learning difficulty of the environment and propose a self-adaptive learning paradigm and pursuit scheme to resolve the problem of fixed learning algorithm and tuned parameters for different environments. Then, we will propose the swarm intelligence based group cooperation algorithm instead of the commonly used polling approach. Finally, we will model the high-dimensional and multi-modal functions with random feedback using our proposed methods and achieve the optimization goal with adaptive learning and swarm intelligence-based variable structure learning automata.

学习自动机是一种基于强化学习机制的概率自动机，在与随机环境相互作用的过程中学习未知环境的概率特征。学习自动机自提出以来，其基础理论的研究取得较大发展，形成以变结构学习自动机为主流，并在模式识别、调度与分配、拥塞避免、博弈、马尔科夫链控制、函数优化等众多应用领域取得了显著的实际效果。本项目围绕变结构学习自动机的个体自适应与群体协同两个关键科学问题，首先针对目前变结构学习自动机对不同环境使用固定的结构变化方法并需手动调试参数，使得学习效率与应用范围受限的问题，定义环境的学习难度并提出变结构学习自动机的个体自适应学习范式与追击模式；然后，针对群体变结构自动机通常采用轮询的学习方式，缺乏有效的群体协同机制而导致群体学习能力受限的问题，提出基于群体智能的变结构学习自动机的群体协同算法；最后，针对基于随机反馈的高维多模态函数优化问题建模，发挥具备自适应学习与群体智能的变结构学习自动机的优化能力。

学习自动机是一种基于强化学习机制的概率自动机，在与随机环境相互作用的过程中学习未知环境的概率特征。学习自动机自提出以来，其基础理论的研究取得较大发展，形成以变结构学习自动机为主流，并在模式识别、调度与分配、拥塞避免、博弈、马尔科夫链控制、函数优化等众多应用领域取得了显著的实际效果。本项目围绕变结构学习自动机的个体自适应与群体协同两个关键科学问题，首先提出了基于末位淘汰制与序优化的个体自适应学习范式与追击模式，提高变结构学习自动机的效率；同时提出了复杂度为常数的学习自动机学习方法，有利于运用到大数据领域的学习问题。然后，基于EDA(分布估计算法)，提出了变结构学习自动机的群体协同算法，发挥群体的全局学习能力；最后，本项目引入机器学习思想，将引领粒子群的对象从群体最优点扩展为历史信息分布、当前个体最优集合与群体历史最优点三个候选项，通过自适应地学习环境选择学习对象。通过在CEC2013 的28 个标准连续函数测试集上的应用实验结果表明HMPSO算法的性能明显优于其它PSO 算法。发表学术论文28篇，其中期刊文章10篇，国际会议文章18篇；SCI收录10篇； EI收录26篇；期刊文章中IEEE Transactions系列文章8篇，其中第一作者6篇，通讯作者1篇。