基于多模态人体生理信息的驾驶情感表达及其对驾驶行为影响机理研究

Human-machine interaction and cooperation control are key issues in the development of intelligent vehicle. A human-centered interaction is considered as the essential demand of a good human-machine cooperation and interaction system. So a driver’s behavior should be deeply investigated during the design of human-machine interaction and cooperation control system. The former studies mainly focused on the data analysis of the driver’s control behavior, but researches about their motivation and generation mechanism were comparatively rare. A driver’s behavior is motivated by his/her emotion state, which will further influence the driving characteristic and behavior pattern. Therefore, driving emotion is considered as the investigation subject in this project for better understanding the cause and effect of driving behavior and enhancing the human-machine cooperation performance. The reflection relationship between driving emotion and physiological signal and the dynamic evolution law of driving emotion will be analyzed, using the driver’s various physiological signals acquired by the multi-modal human factor acquisition devices. A spatial structural model of driving emotion will be designed and a characteristic expression and recognition method about driving emotion based on the multi-modal physiological information will be constructed. The effect of driving emotion on a driver’s sight research, decision response and control accuracy and the influencing mechanism of driving emotion on driving behavior will be investigated. The results and findings will provide ley theoretical foundation for the modeling of driver behavior and technical support for the development of human-machine cooperation in intelligent vehicles.

人机交互与协同控制是智能汽车发展过程中的关键环节。“以人为中心”是人机系统优质协同交互的本质需求，在人机交互协同控制系统研发设计中需深刻理解驾驶员的驾驶行为。以往相关研究中关注重点集中于驾驶员操纵控制行为数据的分析，缺乏对其行为动机与形成机理的研究。由于驾驶时的情感状态对驾驶员行为具有驱动作用，可影响驾驶特性与行为模式，因此本项目将驾驶情感作为研究对象，希冀能够更好的理解驾驶行为因果过程，提升人机交互性能。利用多模态驾驶人因测试设备采集驾驶员多类型人体生理信号，分析驾驶情感与不同生理信号的映射关系，发掘驾驶情感的动态演化规律；设计驾驶情感空间结构模型，构建考虑多模态人体生理信息的驾驶情感特征表达与识别方法；探讨驾驶情感对驾驶员视觉搜索、决策响应、操控精度的影响规律，深入发掘驾驶情感对驾驶行为的作用机理。研究成果可为驾驶员行为建模提供关键理论方法基础，为智能汽车人机交互发展提供技术支撑。

人、车、路闭环系统中，人是系统的核心，“以人为中心”是人机系统优质协同交互的本质需求。研究驾驶情感对于发掘驾驶行为规律与产生机理具有重要的作用。.本课题在驾驶情感的生理信息动态演变规律研究方面，在模拟器上进行合理的驾驶愤怒情绪触发试验，对采集的驾驶员生理和行为数据进行分析，得出驾驶愤怒情绪与生理特征的关联特性；在此基础上，进行驾驶情感对驾驶行为的影响机理研究，得到驾驶员不同情绪状态的驾驶行为存在显著差异；基于生理信息的驾驶员弯道行驶特性分析的研究方面，通过在实车试验平台上，进行大曲率弯道工况实验，表明驾驶员的生理信息可用于描述驾驶员对于车辆的动态响应；在汽车模拟器上，研究了碰撞瞬间驾驶员颈部肌肉电信号和力学特性的动态变化规律；基于深度学习与个体车辆行车大数据的驾驶模态分类方法的研究方面，提出1-D CNN驾驶模态识别模型，并结合梯度下降方法加快训练速度。.本课题的研究在一定程度上填补了驾驶愤怒情绪在生理特性关联分析和驾驶行为分析方面的空白，研究结合生理与行为指标，提高了驾驶愤怒情绪等级划分的准确性，提出了一种考虑生理和操控信息的路怒状态车载识别交互系统，研究结果对于未来进一步研究驾驶人情感状态识别，智能化的人机情感交互具有重要的意义；基于生理信息的驾驶员弯道行驶特性分析的研究，表明驾驶人的生理信息可以用于描述驾驶人对于车辆的动态响应，基于此提出一种基于肌电测量的商用车乘降舒适性评价方法，研究结果为进一步探索并完善驾驶体验评价方法提供了新的研究思路，同时可为汽车辅助驾驶系统功能设计与用户体验测评提供技术支撑；汽车碰撞瞬间驾驶员颈部肌肉电信号变化规律的研究，为高仿生保真度的假人模型建立及更为准确真实分析乘员碰撞损伤提供了理论支撑和设计依据；基于深度学习与个体车辆行车大数据的驾驶模态分类方法的研究，提出1-D CNN驾驶模态识别模型，相比于其他模型在不同时间窗口条件下均可达到较高的识别结果。