基于自适应动态规划的城市集中供热系统优化控制研究

With the increasing popularity of the district heating(DH) system in northern China, how to achieve the optimization control targets of energy saving and emission reduction in the premise of ensuring the heating quality becomes a hot research topic. As the district heating system has characteristics of nonlinear,large delay ,strong coupling and time-varying, it is difficult to directly apply the classical control threoy to achieve its overall optimization control.This project proposes a optimization control method based on the reinforcement learning and adaptive dynamic programming theroy,and applies it to the optimization control of the DH system. Based on a large number of offline data and a short-range weather forecast, uses the artificial neural network to build a short-term thermal load forecasting model.On this basis ,build a complete dynamic simulation model of the DH system using the flowmaster software. Then we establish a mathematical description of the total heat production optimization problem of the heating source, solve it using the adaptive dynamic programming theroy and a so called "quality-quantity"(variable flow and variable temperature) operating strategy,and get a optimization set value sequence of the supply flow and supply temperature of the heating source. Futhermore, establish a mathmatical description of the heating substations heat distribution optimization problem ,solve it using the adaptive dynamic programming theroy,and get the optimization set value sequence of the supply flow and supply temperature of the primary side of substations.This project is an application basic research,it is a useful attempt of applying the approximate dynamic programming theory in the feedback control engineering applications and practices. The research results will play a guiding role in the optimization operation of the DH system, and have a broad application prospects.

随着集中供热系统在我国北方普及，如何在保证供热质量的前提下实现节能、减排的优化控制目标成为研究热点。由于集中供热系统具有非线性、大滞后、强耦合、时变等特点，很难直接应用经典控制理论实现其整体优化控制。本课题提出一种基于增强学习和自适应动态规划的优化控制方法，将其应用于城市集中供热系统。基于大量离线工况数据及天气预报，采用神经网络建立系统短期热负荷预测模型。并在此基础上采用flowmaster软件建立一个完整的供热系统仿真模型。建立热源总热量生产优化问题的数学描述，运用自适应动态规划理论和质量并调的控制策略求解，获得热源供水流量和供水温度优化设定值序列。建立热力站热量分配问题的数学描述并运用自适应动态规划理论求解，获得热力站一次网供水流量和供水温度优化设定值序列。本项目是自适应动态规划理论在反馈控制工程及实践中应用的有益尝试，研究成果将对热网优化调节起到指导作用，有广阔的应用前景。

城市集中供热在我国北方地区广泛应用，但其优化控制相对落后，节能潜力巨大。本项目提出将集中供热系统的运行优化控制的科学问题分解为两个子问题，即热源总热量的按需生产问题和热力站热量分配的优化问题，并应用自适应动态规划算法求解。1. 短期热负荷预测模型研究。除气温外，将日照、天气预报、日期等参数作为神经网络的输入建立预测模型，采用Elman、RNN等神经网络方法研究了热源短期热负荷预测模型，采用改进BP、GABP、RBF等神经网络方法研究了热力站短期热负荷预测模型。研究表明Elman神经网络和RNN神经网络在短期热负荷预测方面的有效性。2.热源及热力站建模研究。采用LSTM神经网络研究了热源建模及多热力站建模方法，应用flowmaster热流体建模软件研究了集中供热系统热源、热网、热力站及热用户仿真模型，研究表明LSTM神经网络在集中供热系统这类时间序列模型建模方面具有有效性。3.热源总热量生产优化研究。建立了热源总热量生产优化问题的数学描述，设计了以节能为目标的性能指标函数，分别采用双启发式动态规划(DHP)、执行依赖启发式动态规划(ADHDP)及执行依赖双启发式动态规划(ADDHP)等自适应动态规划算法研究了热源总热量生产的优化控制问题，研究表明了自适应动态规划算法的有效性，对集中供热系统的热源优化控制具有理论指导意义。4.热力站热量分配优化研究。建立了热力站热量分配问题的数学描述，设计了以按需供热和均匀供热为目标的性能指标函数，采用DHP、深度确定性策略梯度(DDPG)等自适应动态规划算法求解热力站热量分配优化问题，本项目研究了其在10个热力站热量分配优化方面的可行性，对包括更多热力站的复杂热网的热量分配问题还有待进一步研究。本项目探索了自适应动态规划算法在集中供热系统优化控制中理论及工程应用的可行性，研究成果为集中供热系统优化控制提供了理论和技术支持，有较好地应用前景。