基于深度增强学习的空间非合作目标捕获技术研究

Space-based on-orbit capture is a key capability for future space operations. The current visual guidance of spacecraft for non-cooperative target capture is generally through the task-specific algorithm, lack of intelligence and versatility.This project aims to realize the close range pose tracking, fly-around, eliminate spinning and capture to the non-cooperative space target, explores the vision-based intelligent autonomous guidance and control technology，conducts research on multi - sensor feature extraction technology for spacecraft, modeling of policy network model based on convolution neural network for time series input; and intelligent autonomous target acquisition technology based on deep policy gradient. Providing support for achieving the object capturing, and laying the technical foundation for spacecrafts provide service and maintenance in orbit. The proposed deep reinforce learning based non-cooperative spacecraft capture method not only the cutting edge research in artificial intelligence, but also an innovative application of the artificial intelligence technology in spacecraft. The use of artificial intelligence technology to achieve intelligent and autonomous non-cooperation space target capture, the research results will have a strong application prospects in the future space attack-defense application.

空间目标的在轨捕获是未来空间作战的一个关键能力。目前的空间飞行器针对非合作目标捕获的视觉引导一般是通过任务特定的算法来完成，缺乏智能性与通用性。本项目拟围绕实现空间服务飞行器对非合作空间目标的近距离姿态跟踪、绕飞和消旋悬停以及捕获，探索基于视觉的智能自主引导与控制技术，研究面向空间飞行器的多传感器特征提取技术；面向时间序列输入的基于卷积神经网络的策略网络模型构建技术；以及基于深度策略梯度的智能自主目标捕获技术。为实现对目标的捕获提供可靠保障，为完成空间飞行器在轨服务与维护奠定技术基础。本项目所提出的基于深度增强学习进行空间非合作目标捕获不仅是人工智能领域的前沿研究，也是人工智能技术在空间飞行器中的创新应用。利用人工智能技术实现智能与自主的空间非合作目标的捕获，其研究结果在未来空间攻防领域将有着强大的应用前景。

空间非合作目标是指不是为对接或捕获设计的任一航天器，即该目标上不安装用于机械臂捕获的抓持机构（手柄）以及用于辅助测量的合作标志器和特征块，或不能进行姿态控制，在空间自由翻滚的任意航天器。一般包括己方未装置合作部件的卫星、己方装置合作部件但燃料耗尽或姿轨控系统故障的卫星、己方失效卫星、空间碎片、失控航天器等以及对方航天器。它在信息层面上不沟通、机动行为上不配合，其捕获更具挑战性。针对该问题，本项目围绕实现空间服务飞行器对非合作空间目标的近距离姿态跟踪、绕飞和消旋悬停以及捕获，开展了基于卷积神经网络的空间非合作目标捕获模仿学习技术、面向空间飞行器的多传感器特征提取技术、面向时间序列输入的基于卷积神经网络的策略网络模型构建技术、基于深度策略梯度的智能自主目标捕获技术的研究。设计了航天器飞行的仿真动力学环境，构建了面向空间飞行器捕获的三维仿真实验环境，开发了面向空间非合作目标捕获的智能自主引导与控制软件，结合基于DQN的控制力矩离散化方法与奖励函数的加权构建方法，实现了空间飞行器自主姿态控制，以及基于深度增强训练的智能自主目标捕获方法，并基于仿真实验环境进行了仿真验证。解决了传统姿态控制算法在质量参数未知时无法控制卫星姿态的问题。本项目的研究成果为完成空间飞行器在轨服务与维护奠定技术基础，在未来空间攻防领域将有着强大的应用前景。