全天时复杂背景下地面侦察机器人的视觉手势遥操作控制的理论与方法研究

This project aims to meet the urgent demand of ground reconnaissance robot for vision-based posture teleoperation control, and carries out the research around the key problems of vision-based posture teleoperation control at all-time and on complex background, starting with the key problems that need to be solved urgently in the current research situation. Firstly, the real-time robust detection method of vision-based hand detection and the optimal estimation method of hand pose are studied, which can adapt to all-time complex background, in order to realize hand detection and pose estimation under illumination change, color similarity, attachment occlusion and texture interference. Then, the stability of the position and posture of the end-effector of the manipulator under fast traction is studied, which enables the reconnaissance robot to achieve rapid response and stable tracking of hand at all-time and in complex background. It enables soldiers to control the reconnaissance robot remotely in a natural, intuitive and efficient way, and improves the efficiency of human-robot cooperation in military tasks. The theory and method of vision-based posture teleoperation control studied in this project has broad application prospects in the field of human-robot interaction of military robots. It is expected that this research will provide a theoretical and technical basis for the application of human-robot interaction teleoperation control theory in ground reconnaissance robots, and will further improve and enrich the theoretical system of human-robot interaction teleoperation control.

本项目针对地面侦察机器人对视觉手势遥操作控制的现实需求，从目前研究现状中存在的亟待解决的关键问题着手，对全天时复杂背景下地面侦察机器人的视觉手势遥操作控制的核心问题展开理论研究。首先研究可适应全天时复杂背景的视觉手势的实时鲁棒检测方法和手势姿态的最优估计方法，实现在光照变化、颜色相似、附着物遮挡和纹理干扰下的手势检测与位姿估计；然后研究多自由度机械臂末端位姿在快速牵引下的稳定性问题，使侦察系统在全天时复杂场景下实现对手势的快速响应与稳定跟踪，使士兵能够以一种自然、直观、高效的遥操作控制方式实现对侦察机器人的远程控制，提升人机协作执行军事任务的效率。本项目中研究的视觉手势遥操作控制的理论与方法在军事机器人人机交互操作领域有广泛的应用前景。预计本项目的研究将会为人机交互遥操作控制理论在地面侦察机器人上的应用提供理论与技术基础，将会进一步完善和丰富人机交互遥操作控制的理论体系。

视觉手势遥操作控制技术对降低侦察机器人的操作复杂度，提升人机协作执行军事任务的效率，实现更自然的人机共融和人机协作具有重要意义。针对视觉手势遥操作控制技术中的全天时复杂背景下的视觉手势检测问题，首先研究了人类的错觉轮廓视觉特性并设计了一种对光照颜色、纹理等干扰不敏感的视觉特征，然后基于极度梯度提升分类器设计了一种视觉手势最大区分度特征筛选方法，抑制了复杂背景中无关纹理对手势检测造成的干扰，解决了全天时复杂环境下的手势检测问题。另外还研究了基于生成对抗网络的复杂背景下视觉手势语义分割方法，通过使用预训练的生成器和判别器的互相博弈，然后使用达到纳什均衡状态的生成器产生的伪标签来扩增训练样本集来提高有监督学习的泛化能力解决了语义分割中像素级标签获取困难的问题。针对手势姿态估计问题，提出了一种端到端学习基于双视角RGB图像和贝叶斯优化的深度集成学习算法实现了从2D视觉图像估计3D手势姿态，还设计了一种基于卡尔曼滤波虚实传感器数据融合的双视角手势姿态标注方法，解决视觉手势姿态数据集高精度标注的难题。针对侦察机器人的快速遥操瞄控制问题，研究并设计了基于多模型观测器的自抗扰滑模控制器，能够使操作人员使用视觉手势快速控制侦察机器人实现对带有随机突变运动特性的机动目标的快速瞄准与跟踪，并且能够克服对多自由度侦察系统实施快速牵引过程中因为非均匀牵引而引起的空间关节角和加速度的剧烈变化和颤振，实现惯性冲击力干扰导致的瞬时大残差情况下的快速遥操瞄控制。本项目提出的基于视觉手势的遥操瞄控制技术将会极大方便操作者对单兵协同作战侦察机器人的快速、自然、灵活的操控，尤其是自由度较多的机器人系统（如搭载PTZ云台系统或者多自由机械臂的地面侦察机器人），在军用机器人的人机交互领域具有巨大的应用前景。