策略搜索强化学习方法及在移动机器人运动控制中的应用

With the popularity of the concept of intelligent manufacturing currently, the intelligent level of robots and other equipment receives extensive attention, which puts forward new requirements for the design of the control system. Policy search reinforcement learning is an effective intelligent control approach for real-world complex systems such as robots, and is the research focus in the field of intelligent control for robotics, showing broad application prospects. Therefore, our project aims to study the key issues of policy search reinforcement learning method, improve the efficiency of policy search and solve the optimal control problem for a class of higher-dimensional complex continuous system. In theory and methodology, adaptive learning rate for policy gradients will be proposed to avoid the convergence problem causing by constant learning rate. Importance sampling and experience replay will effectively reduce data sampling cost in expectation maximization based policy search methods and improve the data efficiency. Optimal or suboptimal controllers will be computed by reinforcement learning with its adaptive learning ability, and theoretical analysis of convergence and system stability will be given. In experiment and application, trailer mobile robot will be the main research objective of the proposed policy search reinforcement learning methods. Validation experiments and comparative analysis for typical motion control scenarios will be given, which will lay the foundation of intelligent robot application.

当前随着智能制造概念的普及，机器人等设备的智能化水平备受关注，对其控制系统的设计提出了新的要求。策略搜索强化学习是对机器人等复杂系统进行智能控制的有效方法，是当前机器人智能控制领域的研究热点，具有广阔的应用前景。本项目拟对策略搜索强化学习方法的关键问题进行研究，提高策略搜索的效率，解决一类高维复杂连续系统的最优控制问题。在理论和方法方面，提出策略梯度的学习率参数自适应调节的方法，避免固定学习率使策略梯度方法收敛困难的问题；采用重要采样和经验回放技术有效降低期望最大化策略搜索方法的数据采样成本，改善策略搜索的数据利用效率；借助强化学习的自适应学习能力实现最优或近似最优控制的方法，并给出收敛性和系统稳定性的理论分析。在实验和应用方面，以拖挂式移动机器人作为主要研究目标，对所提出的策略搜索强化学习方法进行典型运动控制场景下的实验验证和比较分析，奠定智能机器人的应用基础。

当前深度强化学习理论方法推动了人工智能在机器人控制领域的快速发展。策略搜索强化学习是对机器人等复杂系统进行智能控制的有效方法，是当前机器人智能控制领域的研究热点，具有广阔的应用前景。本项目对策略搜索强化学习方法的关键问题进行研究，首先针对车辆的智能巡航控制问题，提出了一种基于经验回放的自适应动态规划算法，能够有效利用历史经验数据提高控制策略的学习效率和成功率，并从理论上证明了所提出的算法能够以一定界限收敛到最优权重，通过实验验证了所提算法在自适应巡航控制问题中的有效性。本项目针对移动机器人的运动控制问题，以带有N个拖车的拖挂式移动机器人为例，提出了一系列正向路径规划和反向跟踪控制算法，从理论上证明了系统的渐进稳定性，解决了拖挂式移动机器人在复杂环境下的运动控制问题。此外，本项目结合最新的深度强化学习算法DDPG，解决了拖挂式移动机器人在连续动作空间中的路径规划问题。本项目在强化学习和移动机器人运动控制问题中提出了有效的解决方案，发表相关论文5篇，获得专利1项。