基于贝叶斯增强学习的自适应奖赏学习策略机制研究

In this project, a computer model is proposed to solve the problem that the current cognitive learning model does not have adaptive learning and that cognitive neural mechanisms are not clear, and combines with the functional magnetic resonance imaging analysis method, realizing the learning rate of cognitive learning model can adapt the function of the change and exploring the neural modulation factor of cognitive learning rate. The study includes: (1) to solve the problem of fixed rate of cognitive learning, a Bayesian reinforcement learning algorithm is proposed to construct an enhanced learning model with flexible learning rate; (2) based on this, the research on cognitive learning neural mechanism is proposed, an adaptive reward learning task model is designed to simulate the learning process of cognitive reward in human brain. (3) based on the content of the study (2) , the functional magnetic resonance data are collected, and the general linear model method is used to analyze the neural modulation factors of cognitive learning. The cognitive learning model proposed in this project with flexible learning rate can simulate the decision-making process of human brain better, and can provide an effective way for us to study the neural coding of the modulation factor.

本课题拟针对当前认知学习模型不具备自适应学习且认知神经机制不清楚的问题，提出一种计算机模型，并结合功能磁共振成像分析方法，实现认知学习模型的学习率可自适应改变的功能，并探索认知学习率的神经调制因子。具体研究内容包括：（1）针对认知学习率固定问题，拟提出一种贝叶斯增强学习算法，构建具有灵活学习率的增强学习模型；（2）以此为基础，针对认知学习神经机制研究问题，设计一种自适应奖赏学习任务模型，用于模拟人脑认知奖赏学习过程；（3）在研究内容（2）的基础上，采集该任务模型下的功能磁共振数据，并采用广义线性模型方法对其进行分析，研究认知学习率的神经调制因子。本项目所提出的具有灵活学习率的认知学习模型，能够较好地模拟人脑认知决策过程，为我们研究学习调制因子的神经编码提供有效途径。

人脑自主认知学习的关键特征是能够灵活调整新信息权重从而时实更新预测。为了研究人脑在认知决策过程中的脑神经机制，本项目将计算机模型和功能磁共振成像相结合从而来实现该问题的建模和分析。具体研究内容包括：（1）针对认知学习率固定问题，拟提出一种贝叶斯增强学习算法，构建具有灵活学习率的增强学习模型；（2）以此为基础，针对认知学习神经机制研究问题，设计一种自适应奖赏学习任务模型，用于模拟人脑认知奖赏学习过程；（3）在研究内容（2）的基础上，采集该任务模型下的功能磁共振数据，并采用广义线性模型方法对其进行分析，研究认知学习率的神经调制因子。本项目首次提出了一种分层贝叶斯增强学习模型来模拟人脑灵活认知决策过程。该模型具有自主调节学习率、上下文感知、重新配置等基本特征，能被广泛用于人脑认知决策相关的任务设计。同时，本项目首次提出用心理生理交互（PPI）算法实现学习因子对应脑区的交互分析。最终实现结果发现，当对学习率、学习率×奖赏反馈、学习率×预测误差进行PPI分析时，发现大脑的内侧额回均参与了所有的交互，这表明内侧额回是认知处理的关键枢纽。此外，奖赏反馈和学习率之间的整合涉及决策控制和运动处理通路，表明在认知决策过程中决策控制与运动处理相辅相成。最后，奖赏反馈和预测误差之间的整合涉及了与纹状体相关的通路。该研究完成了使用灵活的学习策略对模型估计的功能模式及其在强化学习模型中的相互作用的首次探索，为后续脑认知研究提供基础。