基于P300和SSVEP的混合异步脑机接口及其应用研究

Currently, two of the hottest topics in Brain-Computer Interface (BCI) are the hybrid BCIs and the asynchronous BCIs. In this study, we focus on P300 event-related potential and steady state visual evoked potential (SSVEP)-based BCI methods for multi-modal integration and asynchronous control, and the associated BCI application. The main research contents include as follow: (1) A novel method is proposed to combine P300, SSVEP and N200 into a hybrid BCI paradigm, and stimuli presentation parameters are optimized for the disabled; (2) A double-layer fusion scheme and algorithm are developed for the multi-modal EEG signals, which gives a chance to realize the comprehensive utilization of the redundant and complementary EEG information; (3) a hybrid P300, SSVEP and attention based idle detection is proposed to improve the performance of the asynchronous control; (4) ultimately, two hybrid asynchronous BCI systems will be developed, including the hybrid P300, SSVEP and N200 based communication system for the disabled, and the hybrid P300, SSVEP and attention based brain switch for wheelchair control. This study will not only bring a new idea for designing hybrid asynchronous BCIs, but also will make scientific basement of BCI with high efficiency and applicability.

混合脑机接口和异步脑机接口是当今脑机接口领域的两个研究热点。本项目将重点研究基于P300和SSVEP的混合脑电信号融合和异步控制的脑机接口方法，以及与之相关的脑机接口应用。研究内容包括：(1)结合P300、SSVEP和N200多种脑电信号模式，设计新型的混合脑机接口范式，并针对残疾人进行界面优化；(2)提出混合脑电信号的两层融合算法，利用多种脑电信号在时间、空间和频率域上的不同，实现多种冗余和互补信息的综合利用；(3)建立新型的异步脑开关，引入注意力水平，研究基于P300、SSVEP和注意力水平的空闲状态检测方法，提高异步脑机接口的性能；(4)最终，开发两套适用于残疾人的混合异步脑机接口系统，包括基于P300、SSVEP和N200的辅助交流系统，以及基于P300、SSVEP和注意力水平的脑控轮椅应用。本项目的研究成果可拓展混合异步脑机接口的设计新途径，并进一步提高脑机接口的实用性和适用性。

本项目针对多模态异步脑机接口研究和应用领域的关键问题开展研究，开发了适用于残疾人的基于P300 和SSVEP 的多模态异步脑机接口系统，包括：（1）整合多种脑信号的多模态刺激范式，分别提出了基于P300、SSVEP 和N200，以及基于P300、SSVEP 和注意力水平的多模态异步脑机接口，并针对残疾人进行刺激范式的优化；（2）面向多模态异步的脑机接口，建立了多模态数据多层融合的新算法，并应用于在线脑机接口中，提高脑机接口系统的准确率与信息传输率；（3）设计了结合注意力水平的高性能异步脑开关，提高空闲状态的检测性能，并实现了基于P300、SSVEP 和注意力水平的脑控轮椅的停止命令，空闲状态检测准确率92%，响应时间4.7 秒；（4）研发了两套适用于残疾人的多模态异步脑机接口系统，包括：基于P300、SSVEP 和N200 的脑机接口辅助交流系统，以及基于P300、SSVEP 和注意力水平的脑控轮椅应用。经实验证明，本课题组研发的多模态脑机接口系统可以作为一种意识障碍患者意识水平检测的辅助手段。本项目研究的多模态脑机接口技术将进一步提升残疾人辅助与康复器材产品的智能化水平，对这个产业带来革命性的影响，相关技术一旦产业化，必将产生巨大的社会效益和经济效益。