Affordance辅助服务机器人识别形状不规则物体研究

Vigorously developing service robot industry has important significance for solving issues of labor shortage and empty nester brought by aging of population of China. Autonomously recognizing and grasping a target object with irregular shape will be helpful for service robot to intelligently and efficiently complete its productive and/or service tasks. The key scientific problem involved is to recognize the object category as well as its grasping position and orientation using vision. A novel research scheme for recognizing irregular objects with the assist of affordance is proposed, which has three key steps: (1) reconstruct a watertight 3D model of an object in a scene from multiple depth and color images, and extract shape feature for the 3D model; (2) compare the shape feature with those of objects in the model library to roughly categorize the object, and apply the structural, material, and semantic affordance to enhance reliability of the recognition; (3) rapidly recognize the grasping position and orientation of the object by computing its grasping affordance. The proposed research scheme fully exploits affordance features for assisting service robot in recognizing irregular objects for performing grasping and manipulation tasks, the performance of which will be evaluated on an existing robotic experimental platform.

大力发展服务机器人产业对解决中国人口老龄化带来的劳动力短缺和空巢老人问题具有重要意义。服务机器人自主识别和抓取形状不规则物体将有助于其智能、高效地完成生产和服务任务。其中的关键科学问题是以视觉图像作为输入识别不规则物体的类别及其抓取位置和姿态。本项目对此提出一套新颖的使用affordance辅助物体识别的研究方案，其包含三个关键步骤：(1)基于多幅深度和彩色图像重建场景中物体封闭的三维模型并提取其形状特征；(2)通过和模型库中物体进行形状特征匹配初步识别物体类别，然后通过计算和使用物体模型在结构、材质、语义三个方面的affordance特征提高识别的可靠性；(3)通过计算物体模型的抓取affordance快速地识别出机械手抓取物体的位置和姿态。该研究方案充分利用affordance特征辅助服务机器人识别不规则物体以执行抓取和操纵任务，现有的服务机器人实验平台为测试其有效性提供了有利条件。

服务机器人自主识别和抓取形状不规则物体将有助于其智能、高效地为人类提供服务。在执行抓取任务前，机器人需要通过视觉感知现实场景中的物体。本课题的研究聚焦在以视觉图像作为输入自动感知不规则物体的类别以及物体的抓取方案。.项目负责人在3年的项目开展期间，始终围绕视觉感知这一主题进行研究，主要在三个方面展开了深入的研究：一是三维形状描述；二是三维物体识别；三是三维物体抓取规划。这些研究以三维几何计算技术作为基础，并与服务机器人的实际应用相结合，同时创造出面向视觉感知的几何计算的新技术、新应用。.研究成果包括7 篇SCI 论文和1 篇EI 论文，其中4 篇论文发表在计算机图形学领域国际顶尖刊物ACM Transactions on Graphics 上。获得国家发明专利1 项，受理2 项。项目负责人担任2016 年SIGGRAPH Asia国际会议、2017 年CAD/Graphics 国际会议的程序委员，并受邀在2016 年第十一届中国计算机图形学大会作学术新人特邀报告。.按预定计划和目标, 本课题研究始终得到顺利而有序的开展。三年来, 在原计划的各个方面都取得了良好进展，完成了项目的预期任务。