基于多模态信号的脑机交互及临床应用研究

This project will study multimodal brain computer interactions and their clinical applications. (i) We will analyze multimodal signals including EEG, EMG and EOG and establish their data fusion algorithms; (ii) Based on these multimodal signals, we will develop multimodal brain computer interaction systems in order to provide multiple control commands and achieve high detection performance; (iii) We will study multimodal neurofeedbacks involving visual, auditory, and FES stimuli for effective bi-directional interactions; (iv) We will integrate brain control and automated control techniques and implement effective shared control for wheelchairs and rehabilitation devices; (v) We will study emotion recognition based on the multimodal signals and develop emotional brain computer interaction systems; (vi) The clinical application studies in this project involve the patients with spinal cord injuries (SCIs), strokes, or disorder of consciousness (DOC). Specifically, for patients with SCIs or strokes, we will develop multimodal brain computer interaction systems for their motor assistance and rehabilitation. For patients with DOC, we will study multimodal brain computer interaction-based awareness detection, communication and cognition rehabilitation and establish the corresponding systems.

本项目将开展多模态脑机交互方法及其临床应用研究。首先研究脑电、肌电、眼电等多模态生理信号融合分析方法，为多模态脑机交互系统提供算法支持；将基于上述多模态信号，研发多模态脑机交互系统，以提供丰富的控制指令，实现高性能检测；构建基于视觉、听觉、功能电刺激等的多模态神经反馈，实现双向脑机交互；整合脑控与自主控制智能技术，研发脑机共享控制系统，实现对轮椅和康复器材的高效脑机协调控制；研究基于多模态生理信号的情绪识别算法，建立有效的情绪诱发方法，实现情感脑机交互；面向脊髓损伤和中风患者，研发基于多模态脑机交互的运动功能辅助与康复系统，设计康复训练范式，提高患者的生活自理能力与康复水平；面向意识障碍患者，研发基于多模态脑机交互的意识检测与辅助交流系统，及基于情感脑机交互的认知功能康复系统，以改善意识障碍病人群体的临床诊断、交流与认知功能康复效果。

多模态脑机交互技术通过多模态生理信号、脑机交互系统以及神经反馈，实现对轮椅和康复器材的高效脑机协调控制，对各类神经/精神障碍患者的功能辅助与康复具有重要意义。为了推动该技术的临床应用与产业化，本项目从脑电、fMRI信号处理算法与多模态生物医学信号融合分析、脑机交互方法与系统、面向残疾人的脑机交互运动功能辅助与康复系统，以及面向意识障碍患者的脑机交互系统，这四个方面展开了系统性的研究。. 本项目的主要贡献如下：1）提出高效快速的脑信息解码和高质量脑控信号提取方法，为疾病辅助诊断、脑功能分析、患者康复效果评价等提供算法支撑；2）研发基于多模态脑信号的反馈系统、脑机交互、共享控制、情感交互系统，实现脑机交互之间的无缝融合；3）面向脊髓损伤和中风患者，研发基于多模态脑机交互的运动功能辅助与康复系统，设计康复训练范式，提高患者的生活自理能力与康复水平；4）面向意识障碍患者，研发基于多模态脑机交互的意识检测与辅助交流系统，及基于情感脑机交互的认知功能康复系统，以改善意识障碍病人群体的临床诊断、交流与认知功能康复效果。