基于非监督学习的互适应脑机接口神经信息解析

Brain machine interfaces (BMI) cannot directly obtain the actual movement of the disabled patients in clinical application，which brings challenges to the traditional decoding methods by supervised learning that trains by the error between the model outputs and desired movements. The brain needs to adapt to the behavior of the external devices and generates new firing patterns due to its plasticity, while the intelligent external device needs to simultaneously tracking the non-stationary neural activities during decoding, which forms a co-adaptive system. In this proposal, we build an invasive co-adaptive BMI platform on primates and study the time-variant properties of neural activities and dynamic kinematics, and the online interaction between brain and machines. We propose to visualize the high-dimensional neural activities in feature space and parametrize the dynamic tuning properties, decode the non-stationary neural firings by unsupervised and semi-supervised learning methods, including a dynamic kinematic state estimation by Bayesian approach using dual model, and reinforcement leaning algorithm for large state-action space to realize neural control on continuous movement. We also propose a data-driven method to evaluate important neuron subset by analyzing the local structure of the spiking data. Dynamically updating the membership of the neuron subset could reduce the computational burden for online interaction of the co-adaptive BMI. We will testify the above methods for the co-adaptive BMI system by a neural control task with upper limb continuous movement and motion planning.

由于无法获得丧失运动能力的患者实际的肢体运动轨迹，脑机接口的临床应用面临挑战：1）不能使用传统监督式学习的方法解码；2）脑必须适应外部设备产生的运动行为，实时调整锋电位发放的模态（可塑性），智能的外部设备需要及时跟踪神经元的动态变化。因此，脑机接口本质上是一种基于非监督学习的互适应在线交互系统。本项目以非人灵长类动物（猴）为主要实验对象，针对脑的非稳态神经元活动，研究非线性可视化分析与建模方法，预期变化规律，为解码提供先验知识；针对智能外设，研究基于无监督或半监督式学习的锋电位动态解析算法，通过扩展双模型的贝叶斯动态估计和研究连续状态-行为空间的强化学习解码方法，实现连续运动的神经解析，提高脑机接口性能，延长使用时间；针对在线交互需求，建立基于数据驱动的神经元评估方法，动态构建重要神经元子集，减少解析计算量，提高脑机交互的计算效率；设计互适应实验平台，基于神经控制实现连续运动及运动规划。

由于临床无法获得丧失运动能力的患者实际的肢体运动轨迹，脑机接口的应用面临两大挑战：1）不能使用传统监督式学习的方法解码；2）脑必须适应外部设备产生的运动行为，调整运动锋电位发放的模态（可塑性），智能的外部设备同时也需跟踪神经元的动态变化。本项目针对和两大挑战，以非人灵长类动物（猴）为实验对象，建立了多通道神经元信号与运动行为同步采集的脑机接口实验平台，并且研究搭建了非监督学习的互适应脑机接口系统。针对互适应脑机接口中脑的可塑性，研究非稳态神经元活动可视化分析和参数化建模方法，通过聚类的方法可视化的判断神经元活动在运动行为执行过程中的变化，为神经元锋电位的动态解析提供了良好的先验知识；针对智能外设，研究并改进了基于强化学的锋电位动态解析方法，对神经解码模型参数的改变进行奖励或者惩罚，以逐渐形成神经解码观测模型的稳定映射，可以跟踪数天内随着时间变化的脑信号，收敛到新的稳定状态从而保持时变脑信号的解析精度。同时研究了双重蒙特卡洛点过程滤波算法，在解码的过程中动态地更新系统解码参数，及时给出更优的模型描述，在猴子连续追踪目标的神经活动解码测试中成功地预测了神经元解码参数的变化趋势。通过以上研究的解码方法，我们实现神经控制的连续跟踪以及避开障碍物的上肢运动解析，提高了神经信息解析的精度，延长脑机接口的使用时间。