基于近红外成像的双脑神经解码关键技术研究

Two-brain neural decoding, which decodes the social interaction mode of two interacting human individuals from their hyperscanning brain signals using pattern recognition techniques, is a most cutting-edge technology at the intersection of information science and social neuroscience. Two-brain neural decoding can promote the development of many fields such as intelligent human-computer interaction, therefore has important theoretical and applied values. However, as a new emerging area, two-brain neural decoding has a lot of technical problems need to be solved. Based on the functional near-infrared spectroscopy (fNIRS), the present project planned to work on the key techniques of two-brain neural decoding, including feature extraction and selection, classifier construction, as well as the reliability of the decoding model, etc. The present project combined the research forces from both information science and social neuroscience, and would establish foundations for both future two-brain neural decoding studies and human social interaction studies.

双脑神经解码是一项信息科学与社会神经科学交叉的最前沿技术。双脑神经解码利用多脑同时成像技术观测正在进行社会交互的两名个体的神经活动，基于模式识别技术从观测到的神经信号中解码两个人的社会交互模式信息，未来将可能对人机交互智能化等多个领域起到巨大的推动作用，具有重要的理论与应用价值。目前，双脑神经解码研究刚刚起步，还存在许多关键技术问题有待解决。本项目拟基于近红外脑成像技术对双脑神经解码的关键技术问题展开研究，包括双脑解码特征提取与选择、分类器构建、解码模型可靠性与影响因素分析等。作为信息科学与社会神经科学高度交叉融合的特色项目，本研究将为双脑神经解码技术的未来发展奠定基础，也将为人类社会交互的神经机制研究提供新方法和新技术。

双脑神经解码是一项信息科学与社会神经科学交叉的最前沿技术。双脑神经解码利用多脑同时成像技术观测正在进行社会交互的两名个体的神经活动，基于机器学习技术从观测到的神经信号中解码两个人的社会交互模式信息，可对人机交互智能化等多个领域起到巨大的推动作用，具有重要的理论与应用价值。本项目基于近红外脑成像技术对双脑神经解码的关键技术问题展开了研究并取得了一系列研究成果。首先，我们建立了基于预测和影响的多智能体强化学习算法，用于在多智能体交互环境中学习预测对手行动，并通过行动向对手施加影响以干预其行为模式。实验证明，本算法满足经验收敛性和有限理性条件。其次，我们解决了fNIRS全局性生理噪声去除问题，建立了基于小波的fNIRS全局噪声去除算法。本算法既不需要关于噪声频率分布的先验知识和额外设备支持，也不需要手动挑选成分，可以适用于多种设备，也适合缺乏专业信号处理技术的研究者使用，具有很强的实用价值。此外，我们还开发了双人社会交互实验软件平台，该平台专门用于hyperscanning实验的流程控制、刺激呈现和数据记录，为项目的顺利实施提供了保障，并具有很强的推广应用转化前景。在此基础上，我们建立了基于多智能体强化学习的双脑决策神经计算模型，该模型可以有效预测受试者在重复雪堆困境博弈中的行为，即双脑神经解码。模型输出的动作预测误差信号（APE）与奖励预测误差信号（RPE）具有神经显著性，这也为双脑神经编码机制提供了新理论。此外，我们还探索了多人合作行为的群体脑网络神经表征，为未来探索群体神经解码提供了研究基础。