基于侵入式脑机接口的脑控机器人手臂研究

Facing the important scientific problems in co-existing robots, this project plans to study brain-controlled robotic arm based on invasive brain-machine interface (BMI). Electrocorticography (ECoG) and Stereoelectroencephalography (SEEG) from human brain cortex will be adopted as the signal sources of BMI. The objective is to decode human motion information via BMI, which can make subjects manipulate a robotic arm with multiple degrees of freedom to accomplish daily-life tasks. The project will be conducted on the following aspects: brain surgery, electrode placement, brain signal collecting, ECoG/SEEG signal processing, autonomous control (AC), robotic arm implementation, experimental protocol design, experimental testing & evaluating, etc. The focus is BMI and AC. In BMI part, the novelties include extending the target cortex areas (not limited to motor-sensory cortex) for collecting brain signals, developing advanced algorithms for processing ECoG/SEEG to accurately decode motion attempt, motion trajectories besides motion patterns. In AC part, visual servo control and biomimetic control will be investigated. The highlight is to combine BMI and AC using hierarchical mode or parallel mode. We expect to accomplish the brain-machine harmonic control and realize complex robotic arm manipulation based on the user’s mind.

针对共融机器人的重要科学问题，本项目拟开展基于侵入式脑机接口（BMI）的脑控机器人手臂研究。BMI主要采用人脑的皮层脑电(ECoG)和立体脑电(SEEG)两种侵入式脑信号。研究目的是通过BMI解码人的运动信息，使受试者能够操控多自由度机器人手臂完成日常生活的动作。研究内容包括：脑部手术、电极布置、脑信号采集、ECoG/SEEG信号处理、自主控制、机器人手臂构建、实验范式设计、实验测试和评估等。研究重点是侵入式BMI和机器人手臂的自主控制（AC）。 BMI部分将创新和突破，扩大脑区范围（不局限运动和感觉皮层）采集脑信号；研发先进的脑信号处理算法，不仅是运动模式的解码，将实现运动意图和运动轨迹的解码。机器人手臂的AC部分主要研究视觉伺服和仿生控制。本项目的亮点是采用分级或并联的模式将BMI和AC结合，实现脑-机的融合控制，期望通过这种方式，让受试者能够利用“意念”完成机器人手臂的复杂操作任务。

本项目主要开展了基于侵入式脑机接口的脑控机器人手臂研究，解决了共融机器人存在的一些科学问题，终极目标是希望未来某些残疾人能独立自主的利用大脑来操控机器人手臂完成一些日常生活中的任务。本项目主要完成了四部分工作：立体脑电信号的高性能解码方法，脑机接口与自主机器人控制结合的共享控制，脑控机器人手臂系统，实验与测试。项目核心是立体脑电信号的解码研究，主要取得了四个成果：最优的立体脑电预处理方法，先进的深度学习用于立体脑电解码，联合多脑区的立体脑电解码，时-频-空域特征融合的立体脑电解码。共享控制的研究主要是把脑机接口与机器人视觉相结合，利用基于视觉的机器人自主控制方法来增强脑控机器人手臂的性能，研究成果主要包括串行共享控制和并行共享控制。项目搭建了脑控机器人手臂系统的通用实验平台以及针对癫痫患者的遥操作脑控机器人手臂临床测试实验平台，开发了颅内脑电信号处理软件（iEEGview），开展了一系列健康受试者参与的实验测试以及癫痫患者的临床测试，取得了满意的效果。