脑-控车辆的脑-机交互与控制方法研究

This proposal focuses on two core questions (brain-machine interaction and vehicle control methods) of brain-controlled vehicles that are controlled by "minds" of drivers. It includes the following parts. 1) We propose a new brain-computer interface (BCI) with visual stimuli presented on a head-up display and further analyze the effects of the head-up display on the performance of the BCI. 2) Based on this developed new BCI, a hybrid BCI is then proposed to infer the driving intents from EEG. 3) Since the performance of a BCI is limited, we investigate the effects of the limitations of the BCI on the performance of brain-controll vehicles, and further propose an adaptive control model of brain-controlled vehicles by integrating a hybrid BCI, a cognitive computational model of driving behavior, and surrounding information,to improve the overall performance of brain-controlled vehicles, and explore the influences of these factors aforementioned on the performance of this control model. 4) The brain regions and brain wave characteristics associated with driver reaction under emergency situations are examined and a new braking control method to address emergency situations is proposed based on these characteristics so as to improve the safety of driving. In theory, this project can advance the studies on basic questions and key techniques of brain-controlled vehicles and can help discover cortex neural representation and cognitive mechanism of driver behavior. In practice, the findings of this project can be able to help the disabled people employ the EEG to control vehicles so as to expand their scope of mobility and improve their quality of life. Also, the findings have the potential to facilitate the development of human-centered intelligent assistance driving systems to better assist drivers and thus to improve the safety and performance of driving.

本项目围绕由驾驶员"意念"直接控制的车辆－脑控车辆的两个关键问题(脑机交互和控制方法)展开研究。提出一种新的基于车辆抬头显示的脑机交互模式，揭示车辆抬头显示对脑机交互性能的影响规律，建立通过脑电信号识别驾驶意图的多模式（混合）脑机接口方法。由于脑机交互的性能总是受限，本项目分析脑机交互性能对脑控车辆系统性能的影响规律，通过融合多模式脑机接口、驾驶行为认知模型以及环境信息建立脑机交互条件下的车辆自适应控制方法，揭示各因素对控制系统性能的影响机理；探索紧急情况下驾驶员反应所对应的大脑区域和脑电模式，建立应对紧急情况的车辆制动控制方法。理论方面，可促进脑-控车辆的基础问题和关键技术研究，有助于发现驾驶行为大脑皮层的神经表达和认知机理。应用方面，可使残疾人利用脑电信号直接控制车辆,提高他们的移动能力,更可帮助发展智能辅助驾驶系统，提高驾驶安全和性能。

脑-控车辆研究是智能车辆和脑-机接口的前沿领域。脑-控车辆的研究涉及车辆动力学、人机工程学、信息与控制科学以及脑与神经科学等多种学科。在理论方面，脑-控车辆的关键问题研究有助于发现驾驶行为大脑皮层的神经表达和认知机理，也可以促进脑机一体化的基础理论研究。在应用方面，脑－控车辆的研究能够使残疾人通过脑电信号直接控制车辆，提高其移动能力，也可以帮助发展以人为中心的智能辅助驾驶系统，提高正常驾驶员的驾驶安全和驾驶性能。此外，该研究也可能用于对军用车辆等装备进行辅助控制，提高士兵的作战能力。因此，脑－控车辆的研究具有重要的科学意义和实际应用价值。. 本项目围绕脑-控车辆的人车交互与控制两个关键问题展开研究。主要研究内容包括：面向车辆目的地选择的多模态脑-车交互模型及环境因素对其性能的影响规律；在静态强环境约束条件下基于多模态脑-机接口的车辆运动控制；紧急状况下脑控驾驶员刹车意图的脑电表征、解码及检测。. 本项目取得如下的创新性成果：.1. 提出了一种基于车辆抬头显示系统的脑机接口，在此基础上建立了一种新的混合P300和SSVEP脑电信号的多模态脑-车交互方法，并开发了基于该方法的车辆目的地选择系统。实验室和真实汽车和道路环境条件下测试结果都表明该系统的准确率大约99％。.2. 发现了光照度和噪音对基于脑电信号车辆目的地选择系统性能的影响规律。研究结果表明噪音对系统性能有显著性影响；光照度对系统能能的影响不显著。.3. 建立了一种面向车辆运动控制的混合SSVEP和Alpha 的多模态脑机接口，设计了相应的车辆运动控制模型，并在模拟驾驶仪上验证了只用脑电信号控制车辆运动的可行性。.4. 从幅值、功率谱和脑连通性三方面，探索了驾驶员紧急刹车意图的脑电表征，建立了基于优化特征的脑电解码模型。进一步，以脑电解码模型为基础，通过融合车辆状态信息开发了运动意图检测系统，模拟驾驶仪在线实验结果表明系统的检测准确率大于92%。