基于多模态脑成像的汉语加工脑网络协作编码机制与言语解码研究

Language is an important information carrier for human thought and communication. However, the network structure of Chinese speech processing in the brain is still poorly understood. Answering this question is of great importance for revealing the neural mechanism of Chinese speech information processing, and for promoting the development of the artificial intelligence technologies such as cognitive brain-computer interfaces and natural language understanding. Our previous study revealed the auditory-motor cooperation network in the speech perception of Mandarin Chinese tone by using high-frequency EEG (Si et al., PNAS, 2017). Based on the previous study, this proposal intends to develop the hypothesis of auditory-motor collaborative coding in Chinese speech processing through high temporal-spatial neural recording methods, and a novel neurolinguistics inspired speech decoding model is proposed to promote the development of speech decoding cognitive brain-computer interfaces for communication. This project mainly focus on: ①Constructing the non-invasive high-frequency EEG recording platform with high signal-to-noise ratio and the synchronous EEG-fNIRS recording platform with high spatial-temporal resolution, ② Discovering the specific brain regions involved in Chinese speech processing and exploring the neural mechanism of multiple brain areas’ cooperative encoding network, ③Research on the neural decoding models inspired by the network neural encoding mechanism and establishing a speech decoding BCI for traumatic brain injury patient’s communication.

语言是人类思维和信息沟通的重要载体，然而大脑处理汉语信息的网络结构尚不清楚，但认识这一机制对于理解汉语加工的神经机制以及推动认知型脑机接口技术、中文自然语言理解等人工智能技术的发展均具有重要意义。申请人前期通过高频脑电技术揭示了“听觉-运动”动态协作在汉语声调认知中的作用(Si et al., PNAS, 2017)；在该工作基础上，本项目拟通过解析高时空分辨率的神经信息，发展汉语加工中“听觉-运动”网络协作编码的科学假设，并提出言语编码特性启发的汉语言语解码模型研究新思路，拓展言语解码认知型脑机接口技术的发展。拟重点开展：①构建无颅骨衰减下的无创、高信噪比高频脑电记录平台和高时空分辨率的EEG-fNIRS同步记录平台；②考察汉语言语加工涉及的特异性脑区以及脑区间的网络协作编码机制；③研究基于脑网络结构等编码机制启发的言语解码模型，并初步建立颅脑损伤患者交流的言语解码脑机接口系统。

脑科学与脑机接口研究已经成为国内外新一轮科技竞赛的焦点，研究脑认知网络与言语等认知型脑机接口对发展我国脑科学与技术有重要意义。在该项目资助下，我们开展了基于人工智能与多模态人脑神经成像的脑认知网络机制与言语等脑状态的智能解码新型脑机接口研究，主要工作如下：（一）围绕言语等认知型脑机接口的脑认知原理解析和脑机接口算法，我们通过对比想象言语与真实言语的不同fNIRS脑网络激活特征，发现想象言语激活背侧运动皮层为主而真实言语激活腹侧运动皮层为主；并且背侧感觉运动皮层是想象言语的核心加工和网络编码节点，为言语脑机接口提供了新范式，相关成果发表于《Journal of Neural Engineering》，并且荣获2022世界机器人大赛青年论文比赛优秀提名奖。此外，在基于深度学习的情感识别认知型脑机接口研究方面，我们提出注意力机制的新型深度学习算法，荣获2022年世界机器人大赛总决赛BCI脑控机器人大赛情感脑机接口比赛冠军及一等奖；2020世界机器人大赛总决赛BCI脑控机器人大赛技术赛综合二等奖。（二）我们还围绕脑网络与智能解码相关工作开展脑疾病的相关脑机接口研究：我们提出了卷积神经网络融合transform注意力机制的新型颅内脑电癫痫发作检测深度学习算法，实现了基于iEEG颅内脑电的癫痫发作智能检测，相关成果发表于《IEEE Journal of Biomedical and Health Informatics》（中科院一区Top期刊）。并且提出具备迁移率搜寻能力的卷积神经网络迁移学习新算法，相关成果发表于《Journal of Neural Engineering》。我们还首次在轻度认知障碍患者MCI中发现海马-颞叶与丘脑相关等特定神经束的白质退化现象，该研究发表于国际脑科学重要期刊《Cerebral Cortex》，并入选杂志封面论文；在此理论基础上开展机器学习实现MCI患者的智能识别，成果发表于《Frontiers in Aging Neuroscience》。（三）我们还围绕EEG-fNIRS多模态脑成像技术开展了中医针刺的中枢神经机制客观化机制，我们发现脑电微状态是针刺的重要神经标记物，其动态特征受到针刺调制；并且fNIRS脑网络揭示针刺过程中运动和前额叶皮层受针刺调制；相关成果均发表于《Frontiers in Neuroscience》。