机器人视-触多模态信息融合识别的结构化稀疏编码方法

Environment perception based on multi-sensor fusion is an effective strategy to improve the fine manipulation capability of robots. In the field of fine manipulation of robots, the vision modality could provide the shape, color and surface texture information about the objects, while tactile sensors could provide the deformability, stiffness, material properties, and more subtle texture information. Such modalities can be complimentary for improving the perception capability of robot. However, how to effectively combine visual and tactile information for fine-grained object recognition is still a challenging problem. This project tries to adopt machine learning technology to improve the visual-tactile multi-modal fusion perception capability. By exploiting the advantages of feature extraction in deep learning, and the multi-modal fusion in joint sparse coding, we develop a series of new models and optimization algorithms to tackle the visual-tactile object recognition problem. Finally, we will construct a practical experimental platform to validate the performance of the proposed methods. This work could provide theoretic basis for robot multi-modal perception, and provide a new solution to the problem of fine-grained object recognition.

融合多种传感器的信息实现环境感知是提升机器人精细操作能力的有效途径。在机器人精细操作领域，视觉传感器可以提供关于物体的形状、颜色，以及表面纹理等信息，而触觉传感器则可以提供关于物体的形态、弹性、材质特性，以及更细微的纹理信息。这两类信息可以相互弥补，以便机器人对外界物体的识别更为精细。但如何有效地融合视觉和触觉这两类性质差异较大的模态信息实现精细的物体识别仍然是一个具有很大挑战性的问题。本项目致力于利用机器学习技术提升机器人的视-触觉多模态融合感知能力。通过结合深度学习在特征提取方面的优势，以及联合稀疏编码在处理多模态信息融合方面的灵活性，开发新的优化模型和优化方法来解决视-触觉融合物体识别问题。最后，将结合机器人精细操作过程中采集的视觉与触觉模态信息建立精细物体识别实验验证系统。这一工作可为有效融合视觉信息与触觉信息提供理论与算法支撑，并为机器人精细物体识别提供新的解决途径。

机器人视-触多模态融合感知技术为机器人更好地理解环境和操作作业提供了更为丰富和全面的感知信息，对于提升机器人的操作智能程度有重要意义。然而，这一领域目前还面临着诸多的挑战，需要从信号处理、机器学习和机器人操作理论等角度开展深入探索与分析。本项目针对机器人目标属性感知的视-触融合问题，提出利用联合稀疏编码刻画视觉和触觉信息之间的内在关联，建立了多模态异构信息融合理论与方法，实现了视-触多模态信息的联合编码。在此基础上，利用引入结构化输出信息，提出了一种新的字典学习方法，建立基于结构化稀疏编码的联合特征学习模型。进一步，针对非线性特征空间下的稀疏编码方法，通过引入“核方法”，研究了核稀疏编码与联合字典学习算法，建立了基于核正则化非线性字典学习的稀疏编码模型，实现了特征表示和稀疏编码的联合学习。研究了视-触觉多模态感知的深度稀疏编码方法，提出了一种基于多尺度局部感受野的超限学习机多模态融合算法，建立了面向材质识别的多模态识别框架。此外，我们搭建了视-触觉多模态信息感知与操作平台，构建了视-触多模态信息的数据集。在基础上，对视-触觉融合物体识别技术进行了实验验证，获得了很好的识别结果。上述这些工作不仅为多模态异构信息融合提供了重要的理论基础，而且为机器人自主精细操作等实际应用提供技术支撑，具有重要的学术意义和广阔的应用前景。.本项目申请已授权发明专利4项。一共发表学术论文37篇，其中 SCI 期刊论文26篇，EI 检索论文10篇，会议论文8篇，中文核心期刊1篇；公开出版学术论著1部。获得2017年度IEEE ICARM国际会议最佳论文奖、2019年度IEEE ICIRA国际会议最佳机器人论文奖；获得2020年度中国指挥与控制学会CICC科学技术进步奖一等奖；研制的多模态主动感知操作机械手获得2018年度中国机器人及人工智能大赛一等奖。项目负责人获得了2020年国家杰出青年科学基金资助。