面向智能驾驶安全性的注意-反馈双向脑机接口研究

In the human-vehicle-environment system, human plays the key role. Effective human-vehicle interaction is the secure for the safety of the intelligent driving system. Distraction of the drivers is the risk factor, while driving intention and vigilance of crisis are the positive factors for the traffic safety. Measurement and processing of driving distraction and intention has become the crucial research subject for intelligent driving safety. But the underlying brain activity mechanism and the relationship between distraction, intention and attention is unclear. The complicated multimodal information including the human behavior, sensation and cognition needs to be optimized in the design of human-vehicle interaction. The research of Brain-Computer Interface (BCI) in cognitive neuroscience supplies new reference for the intelligent human-vehicle interaction. However the crucial indicators including information recognition speed, accuracy and robustness of the BCI system should be improved. The feedback of the peripheral equipments to the brain, and the bidirectional information interaction pattern and strategy need to be studied. In this project, combining the corresponding researches in the ergonomics, information and control science and cognitive neuroscience, using driving simulation system and autonomous driving system as the platform, based on the recognition of driving intention and distraction of the drivers and the underlying cerebral activity mechanism of attention-feedback, the effective and reliable human-vehicle interaction system with bidirectional BCI as the control interlayer is constructed to realize the human-oriented active and passive safety control and thoroughly improve the safety of intelligent driving system.

在人-车-环境系统中，人具有核心作用，人车有效交互是智能驾驶系统安全性的保证。驾驶分心是道路安全高危因素，而驾驶意图和危机警觉是保障驾驶安全的积极要素。测量处理驾驶分心和意图是驾驶安全性研究的重大课题。但驾驶意图和分心的底层脑活动机制及其与注意的关系尚不明；人车交互中人的行为、感知、认知状态等复杂信息融合需要优化。认知神经科学中脑机接口（Brain-Computer Interface, BCI）研究为智能人车交互提供了新思路。但信息识别速度、正确率及鲁棒性等关键指标还需提升，外部设备对大脑的反馈、信息双向交互模式和策略尚待研究。本项目拟将人机工程学、信息与控制科学和认知神经科学结合起来，以模拟和自主驾驶系统为平台，以驾驶意图和分心的识别及注意-反馈的脑活动机制为基础，建立高效可靠的以双向BCI为控制中间层的人车交互系统，实现以人为核心的主动和被动安全控制，全面提高智能驾驶系统安全性。

在智能驾驶系统中，建立注意-反馈双向脑机接口（Brain-computer interface, BCI），实现以人为核心的主动和被动安全控制，可全面提高安全性。围绕这一目标，以人-车-环境模型为基础，以注意-反馈的脑活动机制为依据，在解析驾驶行为和意图与注意映射关系的基础上，重点开展了以注意的认知机理、评估干预方法和脑机交互方法为科学问题，以智能驾驶模拟仿真和实车平台为技术概念验证和应用环境的研究工作。对注意功能网络及警觉、定向、执行控制子网络进行了研究，揭示了额叶和顶枕叶在注意力资源分配中的作用。融合脑电、眼动、行为学等多模态数据，解析了人因、路因与驾驶行为的内在关系，得到了驾驶行为危险与保护因素，建立了驾驶行为辨识与评估模型（预测准确率83.9%）、注意力监测模型（准确率75%以上）、制动意图检测模型（准确率98.78%，检测时间比踏板制动提前约500ms）。开展了多因素正交实验和纵向研究，证实了经颅磁刺激（Transcranial magnetic stimulation, TMS）和神经生物反馈对注意功能的影响，实现了驾驶员注意力实时监测和调控，有效提高了驾驶绩效（反应时和错误率减小28%和54%，注意力指标SMR/Theta提升40.1%）。规划了基于眼动、稳态视觉诱发电位（steady state visual evoked potential, SSVEP）、运动想象（motor imagery, MI）和阈下刺激的BCI技术路线，提出了基于对称电极差分特征的注视点定位模型（决定系数0.83）、融合背景的BCI（准确率91.41%）、融合眼动的混合BCI（准确率92.13%，信息传输率153.13bpm）、同步追随视觉引导运动想象BCI（准确率91.89%）、阈下视知觉及信号识别（准确率76.67%）。融合驾驶行为认知机理和脑控车辆动力学特性，研究了脑控车的优化设计方法，开展了仿真和实车研究，验证了驾驶员模型参数、BCI性能参数对脑控车性能的影响；以广汽埃安LX为平台，在园区自动驾驶场景下开展了实车人机协同研究，实现了基于SSVEP的脑控驾驶、驾驶员注意力状态和紧急制动意图监测。研究成果建立了驾驶员状态、行为、意图监测及双向BCI信息交互方法，对构建具有人在回路的混合增强智能驾驶、实现高效稳健的人机交互、提升驾驶安全提供技术支持和科学依据。