人-机器人互适应自主协作理论与方法研究

Around the Cognitive-Cooperative-Coexisting Robot (Tri-co Robot), we focus on the research on situation understanding and the online policy learning method to meet the challenges of human-robot mutual adaptation and autonomous collaboration under the dynamic situation. For the situation understanding, the main studies include 3D saliency detection modeling based on deep network and attention, operable object detection and segmentation, the semantic SLAM method based on the comprehension of relationship among objects and scenes, and the uniform model of the pose estimation and action recognition based on the structural network. Furthermore, for the human-robot collaboration, we aim to establish the model of dynamic task awareness, the obstacle avoidance method for dynamic objects, and the mutual adaption control based on the end-to-end online policy learning method that combines vision and control. In order to measure the effectiveness of algorithms and mutual adaptation robot system, we also design and establish the verification platform based on the Baxter robot, which includes collaboration tasks. This project will provide strong support for the formation of the core algorithms and key technologies of Tri-co Robot with our own intellectual property, and have important application value.

围绕共融机器人与人共享环境的应用需求，面向动态协作环境理解和人机自主协作的挑战，重点研究人机协作任务中的情境理解及机器人在线自主策略学习算法，实现人机互适应自主协作。针对情境理解，主要研究包括基于深度网络模拟视觉系统的3D显著性模型，场景中可操作物体进行语义识别和分割；基于场景和物体间关系推理模型绘制语义环境地图；基于结构化网络构建姿态和行为识别统一模型；基于视触觉多模态数据融合技术理解人的意图。在此基础上，针对机器人自主协作，建立机器人动态任务感知模型,研究可规避动态障碍物的运动轨迹规划方法；研究融合视觉与控制于一体的端对端在线策略学习算法，实现互适应协作。基于Baxter机器人设计并搭建互适应协作任务的系统实验平台，验证所提出算法和互适应自主协作系统的有效性。本课题可为形成具有我国自主知识产权的共融机器人的核心算法和关键技术提供有力支撑，具有重要的应用价值。

开展了机器人与人自主协作研究，将非结构场景推理和意图预测融入机器人作业，创建自主学习方法，推动人机协作由定制化向自主化发展。首次提出视觉操作关系表示方法，构建首个操作关系数据集和端对端视觉推理模型，解决了因缺乏操作推理而无法合理作业的难题；提出了跨模态的时空推理网络语义SLAM方法，建立了即时定位与语义地图验证平台；提出基于时-空记忆机制和意图理解的协作方法,支撑了协作安全性和顺畅性的实现；发现流形空间内嵌模型与视觉-语义映射的作用关系，提出正交空间投影的机器人零样本和经验回溯的机器人策略优化等自主学习方法，解决了对未见场景与技能的学习难题，初步形成了支撑人机协作理论与技术体系。. 发表论文56篇，其中IEEE汇刊等26篇，CVPR等顶会共30篇，申请发明专利 10 项，其中授权4项，在IROS等会议上做篇12次特邀报告。相关成果被多位院士和IEEE Fellow引用且得到积极正面评价如“基准性工作”等；建立并发布了7个机器人场景理解公共数据集，参与世界机器人大赛-共融机器人挑战赛等比赛并获奖7次；培养博士5人，其中与英国和新加坡等高校联合培养2名博士生，硕士15人；本项目成员获得国家杰出青年基金者1名，教育部青年长江学者1名，中组部青拔1名；主持成立中国自动化学会共融机器人专委会，担任主任委员。