基于事件驱动自适应动态规划的模型未知非线性系统最优控制

Adaptive dynamic programming (ADP), as an advanced computational intelligence method, is capable to solve many optimal control problems. However, in large-scale complex networked control systems, due to constraints on communication resources and computational costs, it is impossible to conduct the periodic sampling and computing in conventional ADP algorithms. Event-triggered control can cover the shortage by sampling the system non-periodically. The data are reduced significantly. In our project, event-triggered ADP is studied. With the finite-bandwidth communication and computation, the event-triggered optimal control of unknown nonlinear systems is achieved. A data-driven online learning algorithm is developed, and the event-triggering condition is designed. The event-triggered optimal controller is learned based on online data. The convergence and stability theorems are established. In applications, fleet intelligent driving is considered. Based on the proposed event-triggered ADP, cooperative adaptive cruise control is addressed to improve the efficiency and safety of multiple vehicles. Our project aims to complete the theory foundations of ADP, promote the development of event-triggered control for nonlinear systems, and enrich the researches of optimal control and neural networks. In addition, it also helps to extend the applications of advanced control technologies in the field of intelligent driving.

自适应动态规划方法作为一种先进的智能计算方法，能够有效地解决最优控制问题。但是在大规模复杂网络控制系统中，由于通讯资源有限、计算负担过重等问题，难以实现传统自适应动态规划周期性采样、计算的功能，无法达到最优控制的效果。而变采样周期的事件驱动控制，可以自主采集系统信息、降低数据冗余，弥补自适应动态规划的不足。本项目以事件驱动自适应动态规划为立足点，在通讯和计算带宽受限前提下，实现模型未知非线性系统的事件驱动最优控制。在方法和理论方面，提出基于数据的在线学习算法，研究事件驱动控制理论，实现对事件驱动最优控制器的学习，并给出收敛性和稳定性的理论分析。在应用方面以智能驾驶为出发点，将方法应用在车队的协同自适应巡航控制上，提高多车辆行驶的有效性和安全性。本项目将完善自适应动态规划的理论体系，推动事件驱动控制的发展，丰富最优控制和神经网络科学的研究内容，同时扩大先进控制技术在智能驾驶上的应用范围。

协同自适应巡航控制（Cooperative Adaptive Cruise Control, CACC）作为智能驾驶和车联网技术典型的结合产物，在多车协同、缩减车间距离、提升道路通行能力、降低燃油损耗方面具有显著的意义。但是由于通讯时延、交通干扰因素的存在，设计满足弦稳定的CACC控制器具有一定的设计难度。自适应动态规划（Adaptive Dynamic Programming, ADP）作为一种先进的智能计算方法，能够有效地解决最优控制问题，尤其是近年来在无模型学习、鲁棒控制等方面取得了一定的进展。因此本项目基于自适应动态规划理论和方法，围绕协同自适应巡航控制问题，开展了一系列的算法和技术研究，同时尝试将相关研究工作扩展到多电池储能、视频游戏等其它应用领域。在自适应动态规划理论方面，主要研究在线学习、无模型学习场景下方法和算法的收敛性，最优性，和鲁棒性等；使用平方和多项式逼近器替代传统的神经网络保证方法求解过程的有效性；研究强化学习算法在线学习过程的理论时间上限。将上述理论成果应用在协同自适应巡航控制时，主要研究对异构车队的自适应最优控制；基于线性矩阵不等式对CACC控制器的参数设计和最小时间间隔优化；在TORCS赛车仿真平台上基于视觉的智能驾驶。同时基于以上研究工作的积累，我们将相关技术和方法应用在多电池储能系统上，实现了充放电的优化控制；以及星际争霸微操场景上对多智能体的优化控制学习等。本项目的研究成果对于丰富自适应动态规划在无模型学习、H无穷控制、鲁棒控制等方面的理论基础，提高协同自适应巡航控制的性能、降低控制器设计难度，以及扩大方法和技术在其它领域的应用范围，具有明显的科学意义和应用价值。