基于RGB-D视觉的机器人目标识别与获取技术研究

Active robotic vision based target recognition and acquisition are the foundations of many senior robot tasks. However, RGB based traditional computer vision technologies have several obvious defects, such as poor spatial perception, sense of location and unreliable object recognition and location, which usually lead to the failures of target acquisition. In this grant proposal, we will explore the RGB-D video based key robotic technologies for object recognition and acquisition. Our research will start with exploring the deep feature learning with supervision transfer and feature fusion strategies, and then we will research the semantic parsing of indoor scenes and segmentation of objects for RGB-D video. We will also realize the map reconstruction of the indoor scenes and the intelligent path programming with the assistance of semantic vision information, which will make the robot be able to accurately approach, segment and locate the targets, and reconstruct the 3D model for more reliable target grasping. The key is to solve: 1) the leaning and fusion of multi-modal common feature and specific feature with under-labeled data; 2) refined scene parsing and object segmentation based on gradual spatial-temporal modeling; 3) target location, modeling and acquisition with the assistance of scenes semantic parsing. With the popularization of RGB-D cameras and the rapid development of robotic technologies, we believe this research has the important theoretical and the practical significance.

基于机器人主动视觉的目标识别与获取是机器人执行诸多高级任务的基础。然而，基于RGB数据的传统机器视觉技术在复杂环境中存在空间感知力差、位置感模糊、目标识别定位不可靠等问题，极易造成目标的虚抓虚握，导致不可挽回的后果。本课题开展基于RGB-D数据的机器人目标识别与获取关键技术研究，拟以多模态欠标记条件下的深度特征迁移学习与特征融合问题为切入点，解决基于 RGB-D的室内场景语义解析与目标分割，完成基于视觉语义信息的室内地图重建与智能路径规划，使得机器人能够准确接近目标进而精确分割与定位目标，并获取目标三维模型为目标抓取提供可靠依据。关键在于解决：1）多模态共享特征与特质特征的欠标记学习与融合技术；2) 基于时空渐进建模的场景精细解析与目标分割技术；3) 基于场景语义解析辅助的目标定位、建模与获取。随着RGB-D成像设备的普及及机器人技术的快速发展，这一研究具有重要的理论价值与广阔的应用前景。

本项课题对基于RGB-D视觉的机器人目标识别与获取技术中的关键问题展开了研究。主要研究了欠标记条件下的多模态深度特征迁移学习与特征融合问题、基于深度特征及渐进建模的 RGB-D 视频场景目标识别解析与分割优化问题、基于场景语义解析辅助的 RGB-D SLAM 室内地图重建与目标场景三维重建问题和在目标精确定位寻的及目标三维重建辅助的目标获取问题，旨在解决基于 RGB-D的室内场景语义解析与目标分割，完成基于视觉语义信息的室内地图重建与智能路径规划，使得机器人能够准确接近目标进而精确分割与定位目标，并获取目标三维模型为目标抓取提供可靠依据。其中，在欠标记条件下的多模态深度特征迁移学习与特征融合问题中，我们以不同任务为驱动分别研究了欠标记和特征融合问题。研究了特征驱动启发式四色标记的图像迭代分割算法和基于双通道卷积神经网络的跟踪算法；在基于深度特征及渐进建模的 RGB-D 视频场景目标识别解析与分割优化问题中，我们以“检测-跟踪-分割”的流程研究了场景目标解析。研究基于两阶段模型训练优化的目标检测算法、基于卷积回归模型和基于层级回归模型的跟踪算法、联合实例和语义信息的点云数据分割算法；在基于场景语义解析辅助的 RGB-D SLAM 室内地图重建与目标场景三维重建问题中，以“稀疏重建-稠密重建-表面重建-纹理映射”的重建过程展开研究，重点关注重建的每个步骤的难点。研究基于多起点选择和数据划分的无序图像稀疏重建算法、基于多尺度几何一致性引导和平面先验辅助的稠密重建算法，探索基于相关性代价体的多视图立体视觉学习逆向深度回归算法、可扩展的基于八叉树结构的三维点云表面重建算法、基于深度学习的德劳内三角化表面重建算法、基于连续最大流凸优化的纹理映射算法。研究基于可引导损失和混合注意力机制的误匹配消除算法和基于逐像素分割的语义SLAM算法。. 综上所述，本项研究课题以基于 RGB-D 视觉机器人的目标识别定位与获取为核心任务导向，研究在该任务中所涉及的 RGB-D 视频处理关键问题与核心技术。所研究的问题，广泛地涉及了底层的特征学习与表达问题、中层的语义解析与识别、三维重建、抓取部位识别问题，以及基于场景理解的智能推断、动态路径规划等高层次视觉问题。这一研究工作的开展与突破对机器人视觉技术的长远发展具有重要的理论与现实意义，也是计算机视觉技术在多模态数据领域的重要应用与实践。