基于视觉记忆想象模式的仿人机器人意念控制研究

The mind control of humanoid robot is a newly emerging interdisciplinary study. It is not only a helpful way to reduce the pressure caused by the aging population and to develop the rehabilitation service for the disabled, but also of important value in military fields. To overcome the limitations of the existing evoked modes of electroencephalography (EEG) signals used in controlling humanoid robots, this study works at establishing a new EEG evoked mode named visual memory imagery (VMI) mode. The so-called VMI means imagining the images of robot behaviors memorized beforehand. It has been proven by our preliminary study that the EEG features evoked by the VMI mode are different from those evoked by the existing modes and the VMI mode has more advantages in controlling a humanoid robot. This study is intended to be developed around the decoding of the EEG signals under specific VMI states and the brainwave-based human-robot decision fusion. The four aspects of the research content are the new BCI (brain-computer interface) paradigm for the VMI mode, the multi-domain features' representation, the classification model for the multi-domain EEG features, and the brainwave-based fusion of humanoid robot's complex behaviors.The objective of this study is to explore the EEG features and their distribution in the VMI mode, and to realize the mind control of humanoid robots under complex environments based on the VMI mode. Innovations and characteristics: We put forward a new mode for BCI research named visual memory imagery, utilize multi-domain features focusing on the phase angles between different channels to represent the states of EEG signals, and improve the control capability of this new BCI mode on humanoid robots under complex environments using decision fusion between the human and the robot.

仿人机器人的意念控制是一个新兴的跨学科研究课题，其成果不仅有望缓解人口老龄化带来的社会压力并促进残疾人康复事业的发展，而且具有重要的军事价值。针对现有脑电信号诱发模式用于控制仿人机器人的局限性，本研究致力于建立一种新的模式，即对预先记忆的机器人动作画面进行想象的视觉记忆想象模式。我们的前期研究表明该模式的信号具有不同于现有模式的特征，在仿人机器人的意念控制中更具优势。 本研究拟围绕特定视觉记忆想象中的脑电信号解码和基于脑电信号的人-机决策融合两个关键问题，开展基于该模式的新型脑-机交互实验范式、多域特征表征、多域特征分类模型和复杂环境下的机器人行为融合四个方面的研究，揭示该模式下的脑电信号特征并实现其对仿人机器人的意念控制。 特色和创新：提出了视觉记忆想象这一全新的脑-机接口模式；采用以通道间相位角为主的多域特征来表征脑电信号的状态；借助人-机决策融合增强这一新模式对仿人机器人的控制能力。

本项目一方面针对一些患有神经症状或者神经退行性疾病的患者，其大脑经脊髓至其肌肉的正常信息流被扰乱，进而影响到人的行动意图的表达。另一方面，对于人口老龄化日益加剧的今天，不能自理的老年人也在逐年增加，社会服务人员需求增大导致社会负担过重。因此，本项目一方面通过研究脑-机接口中脑电意图的解析算法，及如何通过视觉记忆想象模式增强脑电信号，从而提高脑电信号的解析准确率。另一方面，通过人脑与仿人机器人之间的融合研究，提高了脑-机交互的执行效率，从而可以减轻患者的脑力负担。本项目通过对SSVEP，ERP等视觉诱发脑电模式的研究，通过运用视觉记忆想象模式提高了脑电信号的强度，通过运用时域频域分析，自适应算法研究，增强了脑电信号的解析准确率。本项目在验证过程中，采集了大量被试的脑电信号，包括离线建模数据，及在线控制仿人机器人数据，充分地验证了本项目中视觉记忆想象模式及解码算法在不同个体中的鲁棒性。本项目研究在脑-机接口，脑-机交互，脑-机融合领域均有着一定的贡献，提供了脑-机接口中从诱发、解析到输出的实用新方案，为脑-机交互打下了实践基础，在脑-机融合领域提出了新型的研究思路。