面向多模态脑机接口的高维脑信号处理方法研究

Multimodal Brain-Computer Interfaces (BCI) could enhance the performance of target signal detection and realize multidimensional control. The multimodel BCI combining EEG and fMRI is able to fully exploit the spatial-temporal property of brain activities. It helps understanding the mechanism of BCI and developing new BCI paradigms. Due to the high dimensionality of multimodal BCI signals and the information of inherent spatial-temporal structure in each dimension, it is difficult to use all of these information well in processing with traditional methods. The objective of this project is to establish a framework for representation and processing of high dimensional brain signals, and develop efficient processing algorithm high dimensional brain data, so that we could fully exploit the information in brain data and analyze the functional brain network. All these outcomes could be used to understand the mechanism and improve the performance of BCI. The following important topics will be studied in this project. 1) how to use graph/tensor to represent the brain data; 2) developing advanced processing algorithms based on multi-linear optimization techniques of tensor; 3) construction and classification of functional brain network based on signal graph; 4) developing efficient algorithm for high dimensional BCI data. All of the proposed algorithms will be verified on our EEG-fMRI-BCI platform.

多模态脑机接口（BCI）能提高系统检测性能、实现多维控制，尤其是综合脑电和功能磁共振成像（EEG-fMRI）的多模态BCI能更好地利用脑活动时空特性，为理解多模态BCI工作机理和开发新的系统范式提供可能。由于多模态BCI的信号维度高，且不同维度包含重要的时空结构和实验信息，传统方法未很好利用这些信息。本项目拟建立高维多模态BCI信号表示和处理的算法框架，开发高维脑信号的高效处理算法，充分挖掘信号中的控制信息，分析脑功能网络并用于探讨多模态BCI工作机理和提升其性能。拟主要研究以下问题：1）如何用信号图/张量来高效表示脑信号；2）利用张量多线性优化技术开发先进的脑信号分析方法；3）实现基于信号图的多模态BCI脑功能网络的构建和分类；4）开发面向高维数据的高效处理算法。以上算法将在我们的EEG-fMRI-BCI实验平台上进行验证改进，为提高多模态BCI性能提供新思路和方法。

多模态脑机接口（BCI）是提高BCI系统检测性能、实现多维控制的重要途径。综合脑电和功能磁共振成像（EEG-fMRI）的多模态BCI能更好地分析脑活动时空特性，为理解多模态BCI工作机理和开发新的系统范式提供可能。项目围绕EEG-fMRI BCI的主要问题进行了深入研究，内容包括：1）多模态BCI系统的信号图张量表示和建模问题研究；2）面向多模态BCI的高效信号处理方法研究，包括张量多线性优化、实时消噪、降维和分类等；3）基于多模态BCI中的脑功能定位及功能网络构建和分类；4）开发面向高维数据的高效处理算法，开发半实时多模态EEG-fMRI BCI系统，并在新EEG-fMRI BCI架构下进行新BCI应用研究。 . 通过项目执行，获得如下成果：1)建立多模态脑机接口数据分析与处理的基本模型,解决信号实时消噪、深度信息分析融合、源功能定位与ERP快速检测等系列问题；2)在系列领域高水平期刊上发表SCI论文24篇，国际会议论文2篇，申请7项发明专利，1项实用新型专利；3）执行期间总共培养硕士研究生15名，博士研究生6名；4）成功研发半实时EEG-fMRI脑机接口实验系统，及相关数据分析软件。5）开发基于多模态EEG-BCI的新型BCI实验系统。. 项目取得主要成果意义及前景为：1）开发半实时的EEG-fMRI脑机交互系统，解决实时消除EEG中强核磁干扰的问题。国内目前未见到相关系统研发的报道，这为进一步利用EEG-fRMI多模态进行认知研究打下了重要基础。实现脑认知实验中，同时采集EEG和fMRI信号，并实时在实验中提供脑机接口反馈的技术。2）实现了未知实验范式下的事件相关电位的提取与分析，并发展成单次事件相关电位分类技术。该技术的重要科学意义在于避免认知实验中相关电位平均，可以捕获任意电位变化成分，为未来进行更加高效的事件相关电位分析打下基础。3）采用基于贝叶斯分析的高维数据求解技术，实现了脑信号源的精确定位估计。提出的方法解决了传统方法只能定位，无法确定脑源尺寸的问题。在脑机交互，脑时空网络构建，癫痫定位等方面有广泛应用。