基于运动想象与视觉注意的混合脑机接口研究及在电子邮件通信中的应用

Brain-computer interface (BCI) systems, based on motor imagery, visual attention (or stable state visual ekoked potentials,SSVEP), slow cortical potentials or P300 potentials, do not work for all users. This drawback limits greatly the practical application of BCI technology. On the basis of long-term research on the BCI systems based on motor imagery and visual attention, this project will provide a hybrid BCI solution to the problem. The hybrid BCI offers two different types of feature signals, and the combination of the two feature signals can infer user intention more accurately, improve the overall performance of the system, and reduce the rate of false positives during resting periods, and consequently improve applicability of the BCI system. Combining theory analysis, offline simulation and online operation, we will make an intensive study of the methods such as channel selection, feature extraction and pattern classification, under the circumstance of possible mutual interference of the two mental tasks. We will also design and build a real-time hybrid BCI system, and apply it to movement control of computer cursor, target selection and character inputting. On the basis, we will develop an Email communication system based on EEG control. The implementation of this project will provide a brand new idea for the development of BCI technology and gain breakthrough progress in the application of BCI to Email communication.

基于运动想象、视觉注意（或SSVEP）、慢皮层电位或P300电位的脑机接口（BCI）不适用于所有用户。这个缺点极大地限制了BCI技术的实际应用。本项目拟在我们对基于运动想象和视觉注意的BCI长期研究的基础上，提出一种结合这两种BCI的混合BCI方案。这种混合BCI提供了两种不同类型的特征信号，结合这两种特征信号可以更精确地推断用户的意图、改进系统总的性能、以及减少休闲期的假阳性率，并因此提高BCI的适用性。采用理论分析、离线仿真与在线运行相结合的方法，深入研究在这两种脑任务可能存在相互干扰的情况下，这种混合BCI系统的通道选择、特征提取和模式分类方法，设计并建立一个实时在线的混合BCI，并将其应用于计算机光标的运动控制、目标选择与字符输入，在此基础上实现基于脑电信号控制的电子邮件通信。本项目的实施将为BCI技术的发展提供一个全新的思路，并将使BCI在电子邮件通信中的应用取得突破性的进展。

由于EEG信号的非平稳性以及低的信噪比，目前使用一种特征信号的单模式脑机接口（BCI）的稳定性、可靠性以及信息传输率还不能满足临床应用的需要，极大地限制了BCI技术的推广与普及。本项目对基于运动想象的BCI、基于视觉诱发电位的BCI以及基于两者混合的BCI进行了研究。采用理论分析、离线仿真与在线运行相结合的方法，深入研究了BCI系统的通道选择、频带优化、特征提取和模式分类方法。建立了一个实时在线的混合BCI，并将其应用于计算机光标的运动控制、目标选择与字符输入。在此基础上，实现了基于EEG控制的电子邮件通信。研究结果表明：1）选择受试者最灵敏的电极通道、采用合适的特征提取方法以及优化模式分类方法，能够明显提高基于运动想象BCI的分类识别率；2）选择 带的刺激频率、优选枕区的电极通道，以及对选择的通道进行空域滤波能够显著改进基于视觉诱发电位BCI的目标检测性能及检测可靠性；3）优选刺激目标的调制编码，可以有效地提高目标分类识别率；4）采用不同编码分组调制的方法，可以大规模提高刺激目标的数目，从而显著改进信息传输率；5）结合两种特征信号的混合BCI可以更精确地推断用户的意图、改进系统总的性能、以及减少休闲期的假阳性率；6）使用基于运动想象和视觉注意的混合BCI，控制光标移动并同时进行字符输入，从而实现电子邮件通信是可行的。这项研究一方面发展了BCI技术，对于推动了BCI技术进入实用阶段具有重要意义；另一方面可以帮助残疾患者实现电子邮件通信的愿望，从而极大地改进他们的生活质量。通过四年的研究工作，项目组基本完成了项目的研究计划，达到了项目预期的目标。