基于分层强化学习的无人驾驶车避障策略研究

In order to improve the ability of obstacle avoidance and the adaptability of environment for unmanned vehicle, the obstacle avoidance strategy under complex dynamic environment will be researched based on the theory of reinforcement learning. After learning the rules of understanding to forward obstacle and the judgment to risk from different sensors, the danger level model and judgment mechanism to dangerous area will be built. In order to solve the problem of dimension disaster of classic reinforcement learning algorithm in continuous state and action space and to reduce the difficulty of reinforcement learning, the obstacle avoidance task of unmanned vehicle will be divided into three sub-tasks. They are static obstacle avoidance, dynamic obstacle avoidance and tending to target. Different reward function will be designed for each sub-task to get optimized weights. The balancing strategy of exploring and utilizing will be seeked to improve the computing speed. The unmanned vehicle will have quick response ability to obstacles and high self-adaptability to complex dynamic environment and extendibility to complex tasks. An obstacle avoidance strategy with consideration of inside and outside constraint of vehicle will be proposed. The unmanned vehicle satisfies its own inside constraints, such as dynamic and speed constraints, and outside constraint such as road rules. The experiment platforms for simulation and vehicle will be set up, and experiments will be carried out. This research result has important academic significance and application value on improving the obstacle avoidance ability and expanding the use scope of unmanned vehicle.

为了提高无人驾驶车避障能力和环境适应性等问题，运用强化学习理论，研究无人车在复杂未知动态环境下的避障策略。探索多源异类传感器对车辆前方障碍物的认识规律及危险感知判断规律，建立障碍物危险级别模型和危险区域判断机制；完善分层强化学习理论，解决经典强化学习算法对连续状态空间及动作空间的维数灾难问题，降低强化学习的难度，将无人车避障任务划分为静态障碍物避障、动态障碍物避障及趋向目标点三个子任务，分别设计各子任务的奖赏函数得到优化的权值分配，寻找探索和利用的平衡策略，加快强化学习计算速度，增强无人车对动态未知环境的自适应性和对复杂任务的可扩展性；提出一种考虑车辆内外约束条件的避障策略，使无人车的运行满足自身动力学约束、速度约束等内部约束以及道路交通规则等外部约束；搭建无人车仿真试验和实车试验平台并开展试验研究。研究成果对于提高无人驾驶车的避障能力、扩大无人车使用范围具有重要学术意义和应用价值

为了提高无人驾驶车避障能力和环境适应性等问题，运用强化学习理论，研究无人车在复杂未知动态环境下的避障策略。.探索了多源异类传感器对车辆前方障碍物的认识规律及危险感知判断规律，建立了分级障碍物感知方案，提出了基于单目摄像头与毫米波雷达的前向障碍物分段距离融合方法，提高了对不同距离的障碍物的探测能力，为强化学习模型应用到实际无人车上提供了可靠的真实输入状态数据支持。.研究并优化了DDPG算法，对于复杂的道路环境组成的状态空间，针对车辆纵向速度研究了高维状态空间对连续动作进行决策，使用结合了基于值函数和策略梯度的算法对策略进行评价，使用了DQN的两种技术，即经验回放（Experience Replay）和目标网络（Target Network），同时利用随机过程产生探索性动作，可以同时学习值函数和策略，加快了网络学习收敛速度。.研究基于PPO的强化学习算法，根据自主导航场景特性完成了状态空间和网络框架的设计，针对模型训练过程中无用采样过多的问题，设计了引入人工势场作为过程奖励的奖励函数，提高了模型训练效率和收敛速度。.建立了无人车的仿真实验平台、小型移动平台实验和实车实验平台。建立了基于UDP传输协议的PreScan与MATLAB/Simulink联合仿真的仿真实验平台，搭建了强化学习的训练场景，完成了对强化学习算法的验证。搭建了小型移动实验平台，完成了基于强化学习的横纵向模型移植工作，实现了真实环境下的移动平台横纵向决策任务，任务执行中移动平台可通过横向和纵向决策有效绕过障碍物并到达目的地。最后搭建了实车实验平台，通过多传感器感知数据融合提供状态空间信息，定义CAN协议传输数据，利用无人驾驶机器人对车辆的加速与制动踏板的行程控制，设置假设碰撞距离来确保实车实验的安全性，最终实现了在实车平台的车辆纵向速度决策，证明了算法在实车平台的有效性。. 本项目研究成果完善了无人车驾驶的决策控制理论，对于提高无人驾驶车的避障能力、扩大无人车使用范围具有重要学术意义和应用价值。