分布式鲁棒强化学习及其在解耦控制中的应用研究

面对分布式非线性、不确定和时变被控对象，强化学习与模糊神经网络相结合为我们提供了构成一个连续空间实时学习控制系统的有效途径，但是有关收敛精度和学习稳定性的理论结果还很少，很难确保学习过程中系统稳定和跟踪性能。本项目研究一种分布式集成智能控制系统的鲁棒强化学习算法及基于该算法的解耦控制方法，以值函数逼近（模糊神经网络、支持向量机）为核心，借鉴鲁棒控制理论，提出适合分布式强化学习的动态稳定域求解方法，采用环境模型和强化学习的协进化，实现分布式鲁棒强化学习。在此基础上提出一种新的鲁棒解耦控制框架，研究稳定约束下的解耦协调算法并应用到焦炉集气管分布式集成智能解耦控制系统中。本研究不仅对基于强化学习控制系统稳定性分析的理论研究及突破该类控制系统在复杂工业过程中的应用的限制具有较大的指导意义，而且为一类强耦合、非线性、强扰动、不确定分布式对象的鲁棒解耦控制提供新的系统的解决方法，有着广阔的应用前景。

针对分布式非线性、不确定和时变被控对象，研究分布式集成智能控制系统的鲁棒强化学习算法及基于该算法的解耦控制方法，以值函数逼近（模糊神经网络、支持向量机）为核心，借鉴鲁棒控制理论，提出适合分布式强化学习的动态稳定域分析方法，运用IQC和Lyapunov理论，实现分布式鲁棒强化学习。在此基础上提出一种新的鲁棒解耦控制框架，研究稳定约束下的解耦协调算法并应用到焦炉集气管分布式集成智能解耦控制和风力发电控制系统中。本项目通过三年的研究工作，已完成项目计划内容。此外为了达到项目研究目的，还对强化学习应用到网络控制、余热锅炉发电优化以及污水过程处理进行了研究和探讨。.本项目的主要研究成果和结论：.1）深入研究了强化学习体系结构，构建了分布式强化学习的框架，建立了焦炉集气管压力系统、风力发电系统模型，完善了仿真和试验平台；.2）深入研究强化学习中鲁棒稳定性问题，解决学习过程中可能出现的不稳定的问题，推导基于IQC和Lyapunov分布式鲁棒强化学习算法；.3) 探讨了网络控制系统的鲁棒设计方法以及强化学习应用到网络控制中；.4）开发完成了焦炉集气管系统分布式强化学习动态仿真软件和风力发电控制系统仿真软件；.5）将上述结构和算法在焦炉集气管压力解耦控制、风力发电变桨距控制以及余热锅炉发电协调控制中进行实验，验证了方法的可行性。开发焦炉集气管压力协调控制软件并计划推广应用。.6）发明了“基于支持向量机的风力发电变桨距自学习控制方法”(实质性审查阶段)，将强化学习思想应用到风电机组控制中。.共发表（含录用）科技论文21篇（期刊论文10篇，会议论文11篇），其中SCI收录1篇，SCI源期刊接受1篇，Ei收录9篇，Ei源4篇（另有课题组成员1本英文专著未标注没有计入）。另外向SCI源期刊投寄论文3篇，EI源期刊投稿2篇（终审阶段）；申请国家发明专利1项和获得实用新型专利1项，申请软件著作权2项。