面向机器人抓取任务的三维物体形状分析与计算

When performing the grasp tasks assigned by people, the service robots need to understand the shape features of the 3D objects to be grasped first, in order to decide the position and pose of the grasping for the tasks. This project will develop the methods to analyze shapes based on specific semantic concepts, then compute the grasping motion for the tasks. The main research problems are: 1) analyzing and extracting the features of the average shape of a specific semantic concept; 2) shape recognition and understanding based on the features of average shapes; 3) salient grasping region of 3D objects for specific interactions; 4) best grasping view of 3D objects for grasping tasks; 5)prototype system for robot grasping. This project will propose geometry-based and data-driven methods. In the method, the geometric features of shapes are associated with the specific semantic concept through the average shapes. Then the knowledge of the semantic concept and the data of robot grasping are used to learn how people grasp 3D objects to guide the robot grasping motion. This project will propose innovative theory about the fine-grained semantic analysis and understanding on shapes, and apply the innovative theory into robot grasping field to improve the ability of robots to recognize and grasp 3D objects.

服务型机器人在执行人们赋予的抓取任务时，需理解被抓取物体的形状特征，然后根据给定任务决定其抓取位置和姿态。本项目研究特定语义概念的形状分析方法，针对特定抓取需求计算给定三维物体的抓取框架。主要研究内容有：1）特定概念平均形状分析与抽取；2）基于平均形状特征的三维物体认知与理解；3）面向特定交互的三维物体显著抓取区域计算；4）面向抓取任务的三维物体最佳抓取视点选取; 5) 机器人抓取验证原型系统。本项目拟采用几何分析结合数据驱动方法开展研究，提出通过平均形状将物体的几何形状特征和带有语义约束的特定概念相关联，并基于机器人手臂抓取数据学习人们抓取物体时的习惯，用到指导机器人抓取过程中。项目研究几何形状更加细粒度的语义分析与理解，有理论上的创新，同时可将理论应用到机器人抓取领域，有效提高机器人三维形状认知和抓取能力。

研发和应用高智能机器人一直是我国重大科技战略之一。原因之一是机器人的应用将对未来包括制造业、服务业等产业产生巨大影响，同时对解决老龄化社会，人力资源面短缺也非常有帮助。工业机器人已能很好地替代各种人工重复劳动，扫地机器人已也进入家庭，服务机器人可以与人对话、提供导览等服务。但具有高度智能的机器人进入家庭和服务行业，做一些诸如收拾家务、做饭等繁琐的事务，需要更多的交互操作，如端起茶壶，收拾衣服等，对服务机器人与周围物理环境交互，特别是对三维物体的抓取提出了更高的要求。.项目针对上述需求，主要在基于三维数据表达的3D形状的认知与理解，3D复杂物体的抓取理论与计算两个方面开展研究。同时在三维形状的分析与计算、三维形状的生成等方面也做了相关研究。基于三维数据表达的3D形状的认知与理解方面，主要研究了基于排序的点云深度学习网络，基于形状感知卷积的RGBD场景语义分析神经网络，复杂点云表示场景的语义和实例协同分割，3D形状的细粒度概念分类。3D复杂物体的抓取理论与计算方面，主要工作包括基于虚拟现实系统的三维抓取数据集的建立，基于能量模型的类人抓取计算，物体嵌入式空间的抓取环计算等问题。在ACM TOG、IEEE TVCG、Eurographics2020、SPM 2020等计算机图形学期刊和会议以及ICRA 2018、IROS 2021机器人领域顶级会议发表论文21篇，获SPM2020最佳论文一等奖1篇、Eurographics 2020最佳论文提名1篇、CAD/Graphics 2021最佳论文奖1篇。实现了一个虚拟现实系统，召集近200名学生在系统下进行三维物体的抓取，获得了一个有91个模型的5万多条抓取轨迹数据，开发了一个基于双Kinect视觉和Barretthand灵巧手的抓取系统，可自动抓取各种三维形状物体，智能分析判断最佳抓取位置；可基于视觉跟踪3D物体的空间位置与姿态，实现人与机器人间的物体交互传递。