视觉听觉跨模态相干性协同学习算法研究

本课题将跟踪郭爱克院士及其他学者对果蝇跨模态学习、协同记忆机制和神经回路的研究，分析视频和音频信息相干性对人脑认知的影响规律，并对传统的多模态信息融合算法进行分析研究，以脑电(EEG)、肌电(sEMG)等生理反馈信号作为赋值奖励信号构建视觉听觉信息跨模态的强化学习模型，研究设计基于联想记忆模型的视觉听觉跨模态相干性协同学习的一组算法，并借助脑电、肌电以及行为心理学的实验，对算法进行评估和修正。本课题拟利用心理治疗中的系统脱敏原理，在煤矿事故救援游戏式训练系统中通过个性化的场景配准算法，根据受训者的心理特征为其提供合适的音频、视频场景，帮助受训者克服焦虑状态和恐惧心理，达到技能训练和心理素质训练有机结合的目的。本课题研究不同模态的信息在语义上的会聚或发散，研究训练系统中跨模态信息的组织和配准，研究在人机交互的强化学习系统中运用人脑的电生理反应作为反馈输入，选题新颖、特色鲜明。