双模态脑机接口中视听认知信息协同、竞争响应机制与计算模型研究

Brain-Computer interface could provide human direct control of outside instrument (computer) and make the “mind”into “action”. It is a new technology that shows its attractive prospect in fields of brain science, neuro-computation, artificial-intellegence, and robotic. Visual and auditory cognitions are most important for human to knowing the world, aquiring information and communicating with outside. Researches on visual-auditory based congnition mechanism and calculation model are urgent missions for optimizing current BCI efficiency and break through the bottle-neck of BCI study. This project designs several ERP paradigms based on different visual-auditory bimodal stimuli, and then severl experimental parameters (visual-auditory delay, stimulus duration and stimulus onset asynchrony) were designed to conduct bimodal ERP-BCI experiments. This project will for the first time using behavioural data (reaction time, reaction accuracy and subjective scoring), EEG parameters (ERP amplitude，ERP latency and time-spatial distribution) and source-tracing analysis （visual and auditory source location）to discuss the synergetic and competition mechanism (information-flow direction and timing causality) of visual-auditory cognition interaction information in different semantic pair group. We will study the computational interaction model (cognitive information recognition and interflow control model) of visual-auditory information in each BCI paradigm. This study will provide new thoery and method for designing visual-auditory based high performance bimodal BCI system.

可实现人脑直接对外部设备（计算机）信息交流控制、使“思想”变“行动”的脑机接口（BCI）新技术已在脑科学、神经计算、人工智能与机器人等领域显示诱人前景。视听觉是人类认知世界、获取信息、对外交流的重要功能，研究视听觉感知信息认知机理、计算模型是当前优化高性能BCI设计理论、突破发展瓶颈的迫切任务之一。项目设计多种视听觉语义搭配的事件相关电位（ERP）诱发范式、开展不同范式参数（视听呈现时间差、刺激时长与间隔）设置下双模态ERP-BCI实验，将首次通过被试行为学数据（反应时长、正确率与主观评分）和脑电参数（ERP各成分幅值、潜伏期与时空分布）特征比较及溯源分析（视听脑区定位）探讨视听认知信息交互不同语义搭配条件下的协同和竞争机制（信息流向与时序因果关系），研究相应范式BCI视听觉信息交互计算模型（意念信息识别与交流控制模式），为设计高性能的双模态视听觉脑机接口系统提供新理论和新方法。

本课题按照原定研究计划，在双模态脑机接口中视听认知信息协同、竞争响应机制与计算模型研究方面，完成了以下工作：1）在双模态视听协同机制的研究中，通过对比事件相关电位特征，可分性，及分类正确率发现视听觉语义匹配性，刺激间隔以及两者交互作用对非目标刺激大脑反应、目标刺激大脑反应及其可分性都有显著性影响且视听觉的匹配性对视听联合脑机接口系统分类正确率影响显著，但是不同刺激间隔脑机接口分类正确率之间并无显著性差异。2)在视听竞争的研究中，以注意视听双模态输出中的视觉或听觉为实验任务，对比不同视听刺激组合下视听通道间的竞争效应。通过对比长、短时间间隔实验中视觉注意及听觉注意在不同视听竞争对中的事件相关电位的异同、可分性及溯源分析结果发现：在视听双模态信息输入的情况下，大脑对于视听觉注意的认知分配是具有较大差异的，同时，受试者在关注某一种模态下的信息时，来自竞争模态的信息对视觉和听觉的响应仍有较强的抑制，这反映了在不同范式中大脑的认知差异。3)另外，基于本课题的研究，项目负责人还开展了基于视、听刺激的脑机接口在临床中的应用，并开展了基于脑电的个体特征识别技术研究。本课题的研究为设计高性能的双模态视听觉脑机接口系统以及其临床和实际应用提供新理论和新方法。在课题执行期内，负责人完成博士后工作，并入职天津大学医学工程与转化医学研究院副教授，2018年入选天津大学北洋学者“青年骨干教师计划”。目前课题已发表论文20篇（9篇SCI检索、9篇EI检索以及2篇核心期刊论文），其中一篇核心期刊论文被评为“《电子测量与仪器学报》2017-2018年度优秀论文”。申请发明专利3项，授权发明专利2项。