面向人机合作协同的机器人运动技能获取和执行研究

Due to the huge market demand and charming prospect, the human-robot collaboration has become the cutting edge and hot spot in the field of robotics in recent years. It is an urgent problem for collaborative robot to learn and adapt to people’s preference about the task, which is addressed in this proposal. The principle investigator (PI) adopt a novel perspective, robot’s motor skill acquisition and execution, to conduct the research in this proposal. ..1）PI will design concurrent behavior primitives with redundancy in the joint and operation space, by which the collaborative data is projected onto the kernel of the behavior primitives. So the data (weight coefficient) in the dual space cluster with respect to the different task and cover a relative domain. In this way, an integrated interaction model for people’s intention identification，preference learning and adaption is constructed. ..2）Autonomous adaption and optimization of behavior primitive to meet the target is realized via feature extraction by representation learning and reward shaping by people’s feedback in the framework of reinforcement learning. ..3）Composition of the behavior primitives within the respective spatial and temporal dimensions is studied by introducing the operators with semantic information. Also, segmentation and identification of people’s sequence motions by behavior- motor library and LSTM are investigated. Moreover, interconnection between discrete symbol sequence with indicators and continuous motion planning is realized based on the previous achievement. ..In this study, we will reveal the potential patterns and rules of the acquisition and improvement of human collaborative motor skills, and provide new research methods and ideas for the research of human-robot collaboration.

源于巨大的市场需求和前景，人机协作近年来成为机器人领域的前沿和热点。机器人如何学习到人类完成任务的个人偏好并自主适应，是当前亟待解决的问题，也是本项目研究的主要内容。本项目创造性地从机器人运动技能获取和执行视角出发开展研究。.1) 设计关节/操作空间上冗余的并发行为基元投射人机协作数据，实现在对偶空间上数据面向任务类别的分类聚集和分布，构建融合意图识别、个人偏好学习和适应的一体模型。2) 基于强化学习框架，结合表征学习的特征抽取、协作者反馈的引导学习来实现行为基元面向指标集的自主、快速适应和优化。3) 研究设计融合语义信息的操作算子对行为基元进行时空维度的复合，探究结合行为-运动模板库和长短期记忆网络对人体序列运动进行分割和识别，进而实现结合指标集的离散符号序列与连续运动规划的互相转化。.本研究将会揭示人体协作运动技能获得和提高的潜在模式和规律，为人机合作协同的研究提供新的研究方法和思路。

源于巨大的市场需求和前景，人机协作近年来成为机器人领域的前沿和热点。机器人如何学习到人类个体完成任务的个人偏好并自主适应，是亟待解决的问题也是本项目研究的主要内容。本项目创造性地从机器人运动技能获取和执行视角出发开展研究。具体而言：..1）针对如何基于示范任务学习让机器人自主获得完成新任务能力的问题，我们提出双空间交替学习的思路和途径。它将当前机器人运动技能获取的 LfDRL 三阶段统一考虑，提出iLWR-PI2-AL算法实现了策略表达、模仿学习、策略提升的滚动优化。..2）针对如何构建将时空耦合信息转化为可调制的运动模型并满足预设的条件约束的运动基元。同时在人机交互和协作中，以适配人类的行为意图变化而做出在线自适应调整的问题，我们提出面向多任务人机交互的MTiProMP模型，并结合解构和迭代策略实现了面向行为意图的多任务人机自适应交互、切换和协同。 ..3）在面向不同任务运动技能的获取中，如何能能自主地掌握到完成任务的该技巧非常关键，它体现为各关节之间面向特定任务的隐含模式。我们提出双环结构启发式搜索的强化学习框架和 PI2-CMA-KCCA 算法用来加速面向新任务的运动技能获取。发现和预测关节间运动基元间和运动基元线内相关模式，实现了行为基元高效策略搜索。.. 传统机器人操作和规划研究都是面对具体问题分别采用不同的模型和假设（彼此异构），这与人体本身基于同构模式来实现不同的运动技能有很大的不同。结合神经系统学、运动学和认识学的研究成果，本研究提出一种通过赋予机器人协作运动技能来实现人机合作协同的新思路和途径。通过构建协作行为基元，并结合模仿学习和强化学习实现运动技能传递（策略表达、模仿学习和策略提升）和人机交互协同（时间索引协作框架、状态索引协作框架），在机器人运动技能获取研究上做出有益的探索 。该研究一定程度上揭示了人体协作运动技能获得和提高的潜在模式和规律，为人机合作协同的研究提供了新的方法和思路。