移动机器人基于三维激光测距的室内场景认知与物体识别

In this project we will investigate the problem of 3D-laser-based place recognition and multi-class object detection for mobile robots in dynamic indoor scenes. Considering the complexity of robust feature extraction in place recognition, scale coordination in object detection and effective environmental adaptation for dynamic interferences, we try to present the systematic theory and practical method in the field of active environment perception and robot autonomous behavior. At the threshold of this project, we adopt a technique of comparative analysis on different 2D image representations for 3D laser scanning data, so that an effective and robust place recognition and object detection approach can be proposed. Furthermore, we will focus on the data fusion technique in the feature level for place recognition and the transfer learning algorithm in multi-class object detection. Also, we will lay emphasis on the research continuity and relationship between the basic 3D point data representation, dynamic place recognition and supervised multi-class object detection, so that the complete theoretical framework and its application will be developed. Experimental results implemented on mobile robot platforms will be given to show the validity of the proposed methods. As the main tasks in the field of intelligent robot autonomous behavior, we will investigate the new problems when mobile robot works in dynamic and cluttered 3D scenes, as well as provide technical support for future practical application by autonomous robot system in real environments.

以工作在动态室内环境中的移动机器人自主场景认知和多类物体识别为研究对象，针对场景认知中的鲁棒特征提取、物体识别中的尺度协调、以及对动态干扰的适应性等问题，研究移动机器人在复杂动态场景中的主动感知与自主行为问题的系统理论与实用方法。从不同三维点云数据的二维图像化表述方法的定性对比分析入手，建立对遮挡、动态干扰等不确定因素具有良好适应性的场景认知与物体识别算法框架，重点研究动态场景认知中特征级的数据融合、以及多类物体识别中的转移学习问题，强调研究由基础的三维激光数据表述、到动态场景认知、再到基于监督学习的多类物体识别研究所具有的相关性和连续性，给出针对这些共性问题的完整理论框架与实用方法，并利用实际平台进行实验验证。作为智能机器人自主行为理论的一项重要内容，本项目意义在于解决移动机器人自主工作在动态三维场景中所出现的新问题，从而为该方法的实用化提供可靠的技术支持和原型验证。

本基金项目针对工作在复杂室内/室外场景中的移动机器人三维环境感知、多类物体识别和自主场景理解等问题展开研究工作。针对三维激光与单目视觉间的实时数据融合问题，设计了一种新的标定板以通过从激光与视觉数据同步提取的角点特征匹配来完成两者之间的外参自动校准。为了消除在物体密集环境中的误检测，一个新的三维物体认知框架被提出并应用到服务机器人上，其利用Gentleboost算法来完成多类物体检测。在该认知框架中，应用尺度协调算法和场景语义信息来提升物体检测的鲁棒性。此外，一种新的三维物体检测系统被提出以实现在小样本不平衡训练数据集条件下的多类多视角物体检测。物体认知中的一个挑战问题就是如何利用小样本不平衡数据集来训练一个鲁棒的分离器。针对该问题我们将SMOTE技术与基于实例迁移学习技术相结合来再平衡有偏的类分布。此外我们还研究了基于在线特征变换学习的跨领域多类物体识别问题。针对无人车室外场景理解任务，基于视觉传感器数据我们提出了使用稀疏栈式自编码和超像素条件随机场来保证长航时场景理解的可靠性。考虑到视觉系统在黑暗环境中的局限性，一种基于三维激光测距的无人车室外场景理解框架被提出并设计，从而能够完成无人车在复杂城市环境导航中的场景理解任务。上述研究工作所提出的方法均在实验室自主研发的移动机器人平台和无人车上进行了系统的实验验证，实验结果验证了所提方法的有效性。上述研究成果发表在以IEEE会刊为代表的国内外学术期刊及本领域重要的国际会议上。本项目的研究工作及相关成果为课题组后续开展无人车与无人机面向非结构化场景的协作环境感知与适应奠定了良好的研究基础。