考虑执行器瞬态动力学特性的混合动力智能耦合能量管理机制研究：基于分层深度强化学习

Due to the different transient dynamic characteristics of the actuator, the complex control system exhibits characteristics such as coupling, time lag and nonlinearity, thus the traditional control method is difficult to achieve good control results. Considering the transient characteristics of the actuator, this project, taking the hybrid energy management system as the research object, focusing on the deep reinforcement learning theory, facing continuous action space task, uses the deep deterministic policy gradient algorithm to realize the end-to-end deep learning and centralized intelligent control from environment awareness to action control for the bottom controller. On this basis, optimizing the top-level steady-state target and the underlying concrete action of the complex control system in a coordinated manner, a control mechanism based on the hierarchical deep reinforcement learning theory is proposed to realize the intelligent deep coupling of the top and bottom control at different time scales. The test vehicle equipped with the 48V electric compound boosting and the 48V hybrid system is used as a typical case to conduct theoretical verification and application and finally, it clarifies the quantitative evaluation mechanism of energy-saving effects of various energy-saving modes, and forms a set of energy management strategies that adapt to changes in operating conditions and maximize energy efficiency. This will provide ideas for improving the dynamics, economy and intelligence of the automotive products in our country.

具有冗余执行机构过驱动复杂系统由于执行器的瞬态动力学特性不同，使整体控制过程表现出耦合、时滞、非线性等特征，传统的控制方法很难达到良好的控制效果。本项目以考虑执行器瞬态特性的混合动力能量管理系统为研究对象，以深度强化学习理论为核心，面对连续动作空间任务，利用深度确定性策略梯度算法实现底层控制器从环境感知到动作控制的端对端深度学习与集中式智能控制。在此基础上，综合考虑各执行器瞬态动力学特性，协同优化复杂控制系统顶层稳态目标与底层具体动作，提出一种基于分层深度强化学习理论的控制机制，实现顶层与底层控制在不同时间尺度的智能化深度耦合。以装备48V电动复合增压系统和48V轻度混合动力系统的整车作为典型案例进行理论验证和应用，最终阐明各节能模式节能效果的定量评价机制，并形成一套自适应工况变化，且能实现节能期望值最大化的能量管理策略，为提升我国汽车产品的动力经济性和智能化水平提供思路。

深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，是一种“无模型”端对端的感知与控制系统。它的出现已经在机器学习的许多领域产生了重大影响，极大地推进了如机器人技术、目标检测、语音识别和语言翻译等任务最新技术的发展。但是将最新深度强化学习算法应用于动力系统智能决策的研究还较少，仅有的一些研究成果没有充分考虑动力系统本身的特性。因此，借鉴深度强化学习的前沿研究成果，开展针对动力系统的智能控制研究具有非常重要的理论和使用价值。..本项目基于分层深度强化学习理论研究考虑执行器瞬态特性的混合动力智能耦合能量管理机制，根据是否直接对执行器施加命令，可将本课题分为两个部分包括1）针对发动机底层控制器集中式智能协同控制；2）针对复杂混合动力能量管理系统考虑底层执行器动力学特性的分层耦合控制，其中第二个研究内容是第一个研究内容的扩展。..具有冗余执行机构过驱动复杂系统由于执行器的瞬态动力学特性不同，使整体控制过程表现出耦合、时滞、非线性等特征，传统的控制方法很难达到良好的控制效果。本项目以考虑执行器瞬态特性的混合动力能量管理系统为研究对象，以深度强化学习理论为核心，面对连续动作空间任务，首先利用深度确定性策略梯度算法实现底层控制器从环境感知到动作控制的端对端深度学习与集中式智能控制。在此基础上，综合考虑各执行器瞬态动力学特性，协同优化复杂控制系统顶层稳态目标与底层具体动作，提出一种基于分层深度强化学习理论的控制机制，实现顶层与底层控制在不同时间尺度的智能化深度耦合。以装备增压系统和混合动力系统的整车作为典型案例进行理论验证和应用，最终阐明各节能模式节能效果的定量评价机制，并形成一套自适应工况变化，且能实现节能期望值最大化的能量管理策略，为提升我国汽车产品的动力经济性和智能化水平提供思路，拟解决问题不仅具有理论研究意义也具有良好的工程应用前景。