基于遥操作示教的人形机器人类人动作生成对抗式模仿学习研究

The human-like action skill learning is a key scientific problem in humanoid robot research fields. A large part of human motor skills are acquired through imitation learning, that is, the acquisition of action skills can be realized by observing the actions of others. Humanoid robot is in essence a bionic technological system, and so it is the starting point of this research to make robot imitate human actions and learn action skills autonomously by endowing it with the imitation learning ability like human beings A humanoid robot imitation learning system is built by using the imitation learning theories and methods in new artificial intelligence technology, and the generation mechanism of human action of humanoid robot is studied. In this work, we will set up a human-like action teaching database for humanoid robot in an incremental tele-demonstration way, establish a human-like action learning model is by combining generation against network and the deep deterministic strategy gradient method, construct a human-like action imitation learning system of humanoid robot, and put forward an optimization strategy to improve the rapidity and generalization performance of imitation learning system. The work will help to lay a theoretical and technical foundation for human-like action skill learning of humanoid robot, and it is of great significance to promote the research on key scientific problems and the application of key technologies of intelligent service robot.

类人动作技能的学习是人形机器人研究的一个核心的科学问题。人类的动作技能有很大一部分是通过模仿学习得到的，即通过观察他人动作进行学习以实现动作技能的获取。机器人本质上是一种仿生系统，让人形机器人具有类似人的模仿学习能力，通过模仿人类动作自主学习动作技能，实现类人动作行为，是本项目的出发点。项目将基于模仿学习的理论和方法，以人形机器人为研究对象，以人工智能新技术为手段，研究人形机器人类人动作的生成方法。项目通过遥操作示教方式，增量式构建人形机器人类人动作示教数据库，采用生成式对抗网络与深度确定性策略搜索策略建立人形机器人类人动作模仿学习模型，构建机器人模仿学习系统，并提出提高机器人模仿学习快速性与泛化能力的优化方法，最终实现人形机器人的类人动作行为。本项目的研究将有助于为人形机器人的自主类人动作技能学习提供理论和技术支撑，对促进智能服务机器人关键科学问题和关键技术的研究与应用具有很重要的意义。

人类的动作技能有很大一部分是通过模仿学习得到的，即通过观察他人的动作进行学习实现动作技能的获取。本课题的主要目标是让机器人具有类似人的模仿学习能力，通过模仿人类动作学习动作技能。课题基于模仿学习的理论和方法，以人形机器人为研究对象，构建类人动作的机器人模仿学习系统，研究人形机器人动作的生成机制。构建了人形机器人物理系统，并基于物理系统构建机器人类人动作模仿学习仿真环境，建立了机器人模仿学习系统。采用惯性运动捕捉系统作为遥操作示教的人机接口，通过遥操作示教的方式，建立人-机器人的运动映射关系，构建机器人的类人动作示教数据库；研究基于深度强化学习的机器人模仿学习算法，分别提出了生成对抗网络与深度确定性策略梯度方法相结合的机器人学习方法，建立了稀疏奖励条件下利用示教数据快速完成模仿学习任务的方法，并实现了低质量示教下采用对抗模仿学习的最优动作策略学习，突破了示教数据质量用于对抗模仿学习时的局限性。机器人模仿学习研究有助于智能服务机器人相关科学问题和关键技术的研究或突破，既有重要的理论研究价值，又有设计和研制符合需求的智能服务机器人的实际应用价值。