基于视触信息融合的机器人自主抓取操作研究

The robotic grasping is one of the most fundamental tasks in the area of robotic manipulation which is of great scientific values. Because of the complexity of the real environment, it requires the robot to have both the ability to perceive and understand the environment so as to execute the grasp. With only one single sensing modality, it is difficult for the robot to fully understand the environment. This proposal discusses three challenging problems in the robotic grasping, namely the environment perception, information processing and the mapping between the perception and operation. Both the visual and tactile sensing modalities are introduced to the robotic grasping. The joint representation and fusion of the sensing information are investigated. With the fused sensing information, the robot is supposed to better understand the environment and execute the grasp efficiently and intelligently. This proposal can not only improve the theory of multi-modal sensing fusion but also provide the relevant technique and dataset for the research of robotic grasping.

机器人的抓取操作是机器人完成各种复杂操作任务的基础，具有重要的科学研究价值。由于机器人的实际操作环境复杂多样，非结构化程度高，需要机器人对所处环境具有很强的感知能力，并通过对感知信息的理解进行决策，最终完成操作任务。因此，仅仅依靠单模态传感信息很难满足机器人对操作环境全面感知理解的需要。本申请拟围绕机器人对环境的感知、视触传感信息的处理与理解、感知信息到操作空间映射这三个挑战性问题，将视觉和触觉感知模态同时引入到机器人抓取操作中，开展系统的探索与研究。重点研究视触觉传感信息的联合表征与融合，使机器人获取对操作环境更加全面准确的认知，完成由感知信息到抓取操作空间端到端的映射，实现机器人的稳定自主抓取操作。本研究既有助于丰富完善机器人多模态数据融合的理论方法，也将为机器人在实际环境中的抓取操作提供相关理论与实验数据集支持。

本项主要研究实际非结构环境下基于视触多模态的机器人抓取操作，主要从单模态信息的表征与理解，视触觉信息的感知与融合，以及基于视触融合的抓取操作方面开展了基础理论与关键技术研究。在此基础上搭建了机器人抓取操作演示系统，进行了实验演示验证。研究了从目标物视觉图像信息中获取抓取点的方法，借助深度学习的方法，提出一个端到端的抓取检测卷积神经网络模型，实时地从图像中检测出目标物的最优抓取框。研究了利用目标物表面的触觉信息，提出了一种多标签字典学习方法，通过分析目标物的不同内在属性之间的内在联系，实现对目标物的触觉属性识别。充分挖掘视觉信息和触觉信息之间的内在联系，提出一种跨模态零样本学习方法解决对目标物的触觉识别，实现视触跨模态迁移能力。设计了一类可以同时学习不同模态测量中的映射子空间和隐含公共字典的字典学习模型，实现了多模态信息的联合表征与融合，可对目标物材质属性进行准确分类。为了提高机器人操作策略的鲁棒性，我们在机器人操作任务中引入了对抗训练机制，提出了一种对抗技能学习算法，实现机器人的鲁棒操作。利用触觉数据，提出了一个深度学习网络来识别触觉序列，可实现对抓取稳定性预测。搭建了机器人抓取操作系统，对基于视触融合的机器人稳定抓取操作和目标识别任务进行了实际环境下的实验验证，实现了对不同材质目标物的分拣，并为机器人抓取操作采集了新型数据集。