多模态脑机接口及其在意识障碍患者中的应用研究

In this study, we focus on the research and development of multimodal Brain-Computer Interface (BCI) and the key problems in its application of patients with disorders of consciousness (DOC). The main research contents include as follow: (1) we study the information integration mechanism of audio-visual stimuli and the influence of congruence; (2) we study a novel stimuli paradigm to combine multisensory channels, and propose an audio-visual multimodal BCI; (3) An audio-visual multimodal BCI system for patients with DOC will be developed for awareness detection. The research results of this project can expand the new way of designing multimodal BCI, and further improve the practicability and applicability of BCI in clinical application.

本项目将针对多模态脑机接口及其在意识障碍患者应用领域中的关键问题开展研究，开发适用于意识障碍患者的多模态脑机接口系统，主要研究内容包括：（1）研究视听交互刺激的信息整合机制，以及时间、空间、和语义匹配度对刺激效果的影响；（2）研究整合视听双通道的两种多模态刺激范式，提出了基于视听觉双通道注意的多模态脑机接口；（3）研发适用于意识障碍患者的多模态脑机接口系统，应用于意识障碍患者的意识检测。本项目的研究成果可拓展多模态脑机接口的设计新途径，并进一步提高脑机接口在临床应用上的实用性和适用性。

意识障碍患者完全瘫痪，严重缺乏行为反应，不能与外界交流，其意识检测与临床诊断是困扰国内外临床医生的难题。脑机接口技术直接从脑信号中解码信息，不依赖病人的行为反应，为解决这个难题提供了可能途径。本项目将针对意识障碍患者意识检测难点问题，研究多模态脑机接口技术，并研发适用于意识障碍患者的多模态脑机接口系统。主要研究内容包括：（1）研究了视听交互刺激的信息整合机制，以及时间、空间、和语义匹配度对刺激效果的影响，提出了一种与注视无关的视听觉脑机接口；（2）研究整合视听双通道的两种多模态刺激范式，提出了基于视听觉双通道注意的多模态脑机接口，提出了一个基于EEG的视听觉脑-机接口系统，用于检测意识障碍患者的情绪识别能力；（3）研发适用于意识障碍患者的多模态脑机接口系统，在中国人民解放军南部战区总医院神经康复一科、广东省工伤康复医院颅脑损伤科等医院进行意识障碍患者意识检测的临床应用。本项目的研究成果可拓展多模态脑机接口的设计新途径，并进一步提高脑机接口在临床应用上的实用性和适用性。