基于生理信号局部被试共性特征的脑力负荷动态深度学习识别方法研究

In safety-critical human-machine collaborative task environment, such as air traffic control and manned space flight, it is promising to develop the mental workload monitoring system via electroencephalogram (EEG) and electrocardiogram (ECG) aiming at avoiding operator functional state degradation. However, it could be quite challenging to achieve accurate mental workload recognition due to the coexistence of the individual difference, generality and the non-stationarity in EEG and ECG features. In this study, we define the local subject-generic features by quantitatively evaluating the transferability of the same physiological feature across different subjects to simultaneously represent the feature generality and individual difference. To overcome the low efficiency of shallow pattern classifiers on revealing useful information hidden in those features, we use deep belief networks to extract the hidden variables of the operator functional state that lead to mental workload variations. In particular, the structure of the deep model is identified via the loss of the neighbor distribution information between the original and abstracted features. Since the static mental workload classifier output is solely determined by the current feature values and cannot tackle the feature statistic variation, we develop the dynamical deep model with output feedback mechanism based on recurrent deep network. The accuracy impair caused by the feature non-stationarity is mitigated by appropriate structural initialization and weight adaptation algorithms. This study could provide experimental and theoretical bases for implementing mental workload estimation system online via wearable physiological data acquisition/processing devices.

对于空中交通管制、载人航天等安全性要求极高的人机任务环境，开发基于脑电、心电信号的脑力负荷监控系统有助于预防操作员功能状态失效。然而，脑电、心电特征中并存的个体差异性、共性与非平稳性，为脑力负荷的精确识别带来了困难。本研究通过定量评价相同生理特征于不同被试的可迁移性，定义局部被试共性生理特征，平衡表达脑电、心电特征中的个体差异性和共性。为了克服浅层模式识别方法难以挖掘上述特征隐含信息的缺陷，利用深度信念网络提取影响脑力负荷变化的操作员功能状态隐变量，并基于生理数据抽象前后的近邻数据分布信息损失辨识深度模型结构。针对生理特征统计特性的缓变与静态分类器中脑力负荷仅由当前时刻特征确定的局限，采用带有动力学和输出反馈机制的循环深度网络模型，结合结构初始化和权重自适应算法，抑制生理信号非平稳性对识别精度的削弱，为设计基于可穿戴生理信号采集与处理设备的脑力负荷监控系统提供实验和理论依据。

在复杂且安全性要求较高的人机系统中，实时准确地监测人类操作者的脑力负荷水平，保持人合理的认知功能状态，能有效提高人机协作系统整体的工作绩效、安全性和人的心理生理健康水平。特别地，可穿戴式脑机接口通过被动采集操作者的自发脑电信号，为脑力负荷评估提供了切实可靠的客观依据。然而，脑电信号中并存的个体差异性、共性与非平稳性，为该指标的精确评估带来了困难。旨在设计通用可靠的脑力负荷评估框架，本项目首先依托操作员过程控制、语言指令理解、图形字母多重回忆任务，为开发数据驱动的认知功能状态识别模型提供了充足的脑电特征标注样本。在此基础上，我们提出了脑电信号的局部鲁棒特征选择方法和共享子空间特征排序方法，通过定量评估不同被试脑电数据的分布差异，获得有限个数被试间与脑力负荷、情感状态变化一致的脑电特征子集。针对跨被试的认知功能状态分类问题，这两种模型相比传统特征选择算法提升了平均7%的识别精度。另一方面，我们利用集成深度学习模型获取了这些特征的高层表示，提出了基于叠加集成的多维堆叠去噪自编码器、异构深度超限学习机和异构自助自编码器特征抽象方法，初步克服了浅层机器学习模型难以挖掘不同被试通用隐含信息的缺陷。这些方法使相同条件下脑力负荷分类的平均精度提高了6.5%。最后，我们实现了迁移动态自编码器和动态深度超限学习机模型，以确定特定时刻脑电信号的脑力负荷水平。同时，我们辨识了最佳分类精度对应的个性化深度网络结构，并加入了网络权重自适应机制，抑制生理信号非平稳性对识别精度的削弱。相比静态深度学习框架，动态脑力负荷识别模型平均提高5%以上的精度指标。综上所述，本项目融合了脑电信号局部被试共性特征选择、基于深度学习的特征高层抽象、脑力负荷动态深度学习识别方法，开发了多种开源可用的脑力负荷识别框架和对应的生理数据库，为设计基于可穿戴生理信号采集与处理设备的脑力负荷识别系统提供实验和理论依据。