基于注意选择调制视听觉联合刺激的脑-机交互新方法研究

基于脑电信号实现人脑-计算机间直接信息交流的"脑-机接口"研究是当前生物信息学、脑认知和神经工程等领域的前沿热点课题。针对当前脑机交互中受任务刺激速度与可识别性相互制约所造成的信息转化效率难以提升这一核心问题，本课题提出了一种基于注意选择调制视听觉联合刺激的脑-机交互新方法。通过研究注意选择调制方式和视听觉联合刺激模式对于诱发脑电特征的影响，利用相位同步性分析技术和Fisher测度分析高维脑电特征的可分性与分布特异性，建立能够产生丰富特征信息利于识别的高速任务刺激诱发方式，并发展新型特征提取方法和快速识别算法，实现高效率的脑-机交互信息传输。其研究成果不仅可以丰富跨通路诱发响应的神经电生理学内容，创新脑认知研究思路，更可开拓针对任务识别的脑机交互诱发策略的设计新途径，为实现高效的脑机交互奠定科学基础，具有突出的科学创新和应用价值。本课题的相关研究思路和技术方案尚未见诸文献报道。

本课题以充分利用脑电信号中携带的视、听觉认知信息、发展新型脑机接口范式、提升脑机接口系统信息传输效率和实用性能为目标，重点开展了以下研究工作：1）视、听觉联合刺激的脑电特征响应规律研究。研究中分析对比了视、听觉独立和联合刺激下的诱发脑电特征响应，探讨了双通道刺激时差带来的特征差异，并根绝研究结果构建了符合脑-机接口信息转化特点的联合刺激模式；2）注意力对脑电特征的调制作用研究。研究中首先分析了显性注意和隐性注意对于双通道联合刺激诱发脑电特征可分性影响，进而探索了在平行注意下的视听觉并行诱发脑-机交互的可行性，研究中还进一步确立了注意调制诱发电位特征的时间结构划分；3）新型脑-机接口范式研究：针对应用环境的不同约束建立了多个新型脑机接口范式，包括采用视、听觉双通路刺激的speller范式、采用三维空间编码策略的ERP-Speller范式、采用视觉稳态诱发电位阻断结合事件相关电位的SSVEP-ERP混合范式、采用多指令集并行呈现和Parallel-Speller范式，采用复合肢体想像CMI-BCI范式和序列肢体动作想像SMI-BCI范式等；4）相关匹配算法研究：课题中研究发展了一系列高效能脑机交互算法，如采用相位信息测量和聚类分析的Speller导联优化算法、采用跨个体信息和集成学习的识别增强算法等，有效提高了脑机接口系统的信息传输效率；5）脑机交互过程的关键影响因素研究：通过创新性实验设计验证并量化评估了脑力负荷对脑机交互识别效果影响，并发展了相关克服增强技术；6）实践验证及扩展研究：课题研究中建立了多组范式下的在线脑机接口系统平台，开展了针对临床适应症患者的临床测试，并针对不同使用环境中的约束特点及BCI应用可行性进行了扩展性研究和探讨。 .目前课题已录用/发表期刊论文24篇，会议论文12篇，其中SCI检索国外期刊论文17篇（一区期刊1篇，二区期刊6篇，三区8篇，四区2篇），申请国家发明专利6项，授权4项。在国家自然科学基金委视听觉重大研究计划举办的中国第二届脑机接口竞赛中获得视频展示项目的前三名，主办了2012年IEEE国际虚拟环境、人机接口与测量大会。有2名博士后、6名博士生和11名硕士生参与课题研究工作，已有1名博士后出站、2名博士生和8名硕士生毕业。在本课题研究工作基础上，课题组新获得国家自然科学基金项目一项，天津市自然科学基金项目一项。