面向任务效益的分布式异构飞行器集群空域冲突消解方法研究

Distributed heterogeneous aerial vehicle swarms, due to their advantages on accomplishing multiple types of tasks, have attracted much attention from all over the world, and shown their great value and benefits in military and civil uses. To establish an effective and flexible airspace conflict resolution mechanism for aerial vehicles is a necessity for the practical applications of distributed heterogeneous aerial vehicle swarms. Swarms show different flight mode in different mission stage. To improve the mission performance, appropriate conflict resolution strategies should be applied in different flight mode. With a mission performance view, this project first analyzes the airspace conflict resolution problem of distributed heterogeneous aerial vehicle swarms. Firstly, we establish the airspace conflict resolution model for distributed heterogeneous aerial vehicle swarms , which lays the foundation for the further research. Secondly, we propose the temporal-spatial conflict resolution algorithms. According to the communication condition and the flight modes of swarms, we study on the distributed optimization based conflict resolution algorithm and the distributed multi-agent reinforcement learning based conflict resolution algorithm. Thirdly, we study on the airspace conflict resolution problem by using the distributed cooperative tasks adjustment method in the task domain. Finally, we propose to build simulation experimental environment and real platform experimental environment to demonstrate the proposed algorithms. The project will lay the important theoretical foundations and provide key techniques on the practical applications of distributed heterogeneous aerial vehicle swarms.

分布式异构飞行器集群因其具备执行多类型任务的能力在全球得到广泛重视，在军事和民用领域都有巨大的应用前景。构建灵活高效的空域冲突消解机制是分布式异构飞行器集群走向实际应用的必要前提。由于集群在执行任务不同阶段采用不同的飞行模式,为了提高集群执行任务的效益，应采取与飞行模式相适应的消解策略。项目首次面向任务效益研究分布式异构飞行器集群空域冲突消解问题：项目首先拟构建分布式异构飞行器集群空域冲突消解问题模型，为后续问题求解奠定基础；其次，项目拟对在时空域内消解冲突的方法进行研究，根据通信条件与集群飞行模式分别研究基于分布式优化的消解方法与基于分布式多智能体强化学习的消解方法；然后，项目拟对在任务域内通过分布式任务协同调整消解冲突的方法进行研究；最后，项目拟搭建仿真实验环境与实体平台实验环境对提出的方法进行充分验证。研究对推动分布式异构飞行器集群的实际应用提供理论和关键技术支撑。

随着无人机等小型飞行器广泛应用于军事和民用领域，未来将出现大规模飞行器在局部狭窄空域被用于执行特定任务。飞行器的安全飞行成为需要解决的基本问题之一，同时还需考虑飞行器的任务效益。项目研究提出了分布式异构飞行器集群空域冲突检测与消解模型，明确了空域冲突检测与消解的流程。项目提出基于飞行规则和邻近飞行器两层次状态感知的深度协调机制，该机制可确保较多飞行器聚集飞行时的安全间隔，减少飞行器偏离既定航线和对空中交通的影响。项目应用强化学习的Soft Actor-Critic（SAC）算法，应用集中式训练、分布式执行的方法解决多飞行器分布式冲突消解策略训练问题。为提高算法效率，采用课程学习方法进行分阶段训练。获得的神经网络可解决不同数量飞行器冲突，具有较好泛化性能。该方法可支撑多飞行器在通信条件不畅条件下的安全飞行。隶属于同一用户的飞行器集群在空域中飞行作业时也需考虑空域冲突。由于任务的高效执行是整个集群的目标，当有飞行器偏离既定航线时，其承担的任务可由集群中其它飞行器执行，项目提出结合飞行航线协调和分布式任务分配方法消解冲突。.研究重要结果：一是考虑机间两层次的状态感知、并以飞行规则为基础构建的深度协调机制可解决复杂空域冲突，该机制既能保持机间安全间距，又能提高任务效率；二是研究提出的分布式多智能体强化学习方法促使智能体具备有泛化性能的冲突消解能力；三是结合在时空域的航线协调和任务域的任务协调，可有效协调空域中的复杂冲突，提高集群任务效益。.科学意义：一是基于两层次机间状态感知的深度协调机制能够有效解决飞行器复杂冲突，说明差异化的状态感知信息可有效提高飞行器间的协调水平；二是考虑冲突消解具体需求设计的分布式多智能体深度强化学习方法能够实现多飞行器的安全飞行协调；三是结合飞行航线协调和任务协调能提高集群执行任务效益，相比于单纯的飞行航线协调更加灵活高效。