共融机器人视觉编程及在线人机协作机制研究

Interaction between humans and robots is one of the fundamental problems in large-scale deployment of robots in industry. However, many state of the art systems can only be manually programmed before being deployed to different workspaces. Therefore, these systems are lack of the capability of perception and interaction with environment and human workers nearby. This proposal describes a novel system that aims at (re)programming robots based on visual input (“visual programming”), which improves the quality of the robot-human collaboration. The human-robot interaction adopts the state of the art deep learning methods, which allows robots to understand human actions and produce corresponding responses, and eventually enhance co-operation capacity. The main tasks of this proposal are: 1) Exploring recognition methods for the grasp types to improve the success rate of grabbing objects, which is based on deep learning technology. 2) Investigating deep learning-based methods for online recognition and prediction of human actions to improve the success rate of human-robot collaborations; 3) Exploring visual programming for re-programming collaborative robots based on deep learning technology; 4) A prototype system with the above technologies. The ultimate goal of this system is a programmable system that makes it easier to understand and implement a collaborative robot platform, in order to establish a basis for improving the quality of life, and boosting robot industrial production.

人类和机器和谐交互、高效共事是智能机器人研究热点，也是衡量机器人能否在工业界获得大规模应用的关键环节。现有机器人多数采用指令预编程方式进行设定，且缺乏对工作环境的感知，这导致了诸多问题，包括：协作者只能与机器人进行有限的协作、协作者的操作安全无法保证、为使机器人适应新工作需要重新编程设定等。为此，本项目开创性地引入“基于视觉编程”理念，旨在打造和谐高效的人-机器人共融交互协作环境。本项目主要研究内容包括：1）研究基于深度学习的物体抓取方式识别，提高抓取物体的成功率； 2）研究基于深度学习的人体动作在线识别和机器人协作动作在线决策，提高机器人与操作人员间的协作成功率；3）研究基于视觉编程的自学习功能，快速完成协作机器人的再编程； 4）使用通用型机器人搭建机器人协作演示原型系统, 作为技术验证和后续研究的基础平台。本项目对于提升我国智能制造水平以及保障工业转型升级具有重要的经济意义和社会价值。

本项目以提高共融机器人的“智能化”程度为目标，让机器人能够根据人体的动作变化进行安全的实时的跟踪协作，并且当环境发生巨大改变时，机器人能够通过视觉编程快速适应新的工作环境，而不需要重新返厂进行编程，这极大的提高了生产效率，对我国智能制造有着重大的推动作用。在技术研究层面，本项目的实现对理论研究和应用开发具有重大的意义。本项目主要研究内容包括：（1）操作动作和物体抓取方式识别：通过双流神经网络等方法对视频中操作者动作和物体抓取手势进行特征提取与融合，并通过概率学和机器学习算法进行抓取方法预测；除此之外，还研究了多特征像素级融合的遮挡物体6 DOF姿态估计，通过融合2D图像和多角度3D物体图像特征对遮挡环境下的物体进行6DOF姿态估计，实现物体的准确定位；（2）协作任务在线感知：通过图卷积和双流神经网络等方法对视频中操作者的人体骨骼关节点和手部关节点进行建模，并将物体位置等属性特征进行融合，实现操作动作高精度识别；（3）基于视频和示范学习的视觉编程：通过将任务1和任务2所得到的元语义根据设计的语法语义关系进行融合，生成机器人指令给机器人进行执行，实现机器人从视觉自动学习技能功能。项目提出的“基于视觉编程”理论获取了学术论文18篇，其中SCI/EI检索12篇，北大核心5篇；申请发明专利24项，授权发明专利1项，获得国际竞赛4项。这些理论和方法为“基于视觉编程”理论提供了新的思路，促进了机器人自动学习能力的提高，为未来家庭服务机器人和工业机器人的应用提供了有效的支撑。