以RGB-D图像序列为单位的移动机器人场景识别与环境建图

Scene recognition and map building are the key prerequisites for environmental perception, understanding and utilization with a mobile robot. The study of scene recognition and environment mapping benefits both navigation and manipulation of the mobile robots. This project aims to use the RGB-D camera as the robot’s on-board sensor to perceive the environment. Different from the existing methods, which take a single frame of image as a unit to achieve map building, in this project, the robot will segment the successively collected RGB-D images into different image sequences according to the change of the environmental scenes. Each image sequence represents a different scene. A rigorous model will be set up to describe the image sequences. Then, loop closure and map correction will be implemented with the RGB-D image sequence as a unit to build a globally consistent three-dimensional (3D) map of the environment. In the process of map building, the robot will detect the WiFi signals from the environment and establish a model of WiFi wireless signal field, based on which, the WiFi signal will be fused with the RGB-D information to achieve both precise and low-cost robot localization. In the project, scene recognition, robot localization and map building will be considered simultaneously. It will provide a complete and consistent 3D environmental map with high-level scene information that can improve the completeness and robustness of scene description and environment mapping, and enhance the ability of the robot to analyze and represent the environment. As a result, different forms of environmental description of the robot and human can be united effectively.

场景识别与环境建图是移动机器人感知、理解和利用环境的关键前提，其研究对机器人执行导航和操作任务具有重要的意义。本项目拟利用RGB-D摄像机作为机器人车载传感器，区别于现有的以单帧图像为单位的环境建图，机器人根据环境场景的变化，将连续获得的RGB-D图像自动划分成不同的图像序列，用于描述不同的场景；同时机器人对图像序列进行建模，并以序列为单位完成闭环检测和地图校正，构建全局一致的三维环境地图，在此过程中，机器人采集环境中的WiFi信号，在线创建WiFi无线信号场模型，并通过与RGB-D信息的融合，实现兼顾高精度与低成本的机器人定位。在本项目中，场景识别、机器人定位与环境建图三者同时在线完成，为机器人执行导航和操作任务提供完整、一致且包含场景信息的更高层的环境地图，不仅能够增强场景描述和环境表示的整体性和鲁棒性，而且提高了机器人对环境的分析和表示能力，实现人和机器人在环境描述形式上的有机统一。

随着移动机器人研究的日益发展，以SLAM 技术为支撑的服务机器人、安保机器人、自动驾驶车等系统展现出了快速增长的趋势和巨大的市场前景，特别是在服务行业，机器人与人共存，共同感知环境，协作完成任务，这些都对机器人的场景识别与环境理解能力提出了全新的要求。由于机器人的视野通常十分有限，单帧图像难以完整、全面地描述环境场景信息，而由连续获取的多帧图像组成的图像序列能够较为完整、紧凑地刻画环境场景，增强机器人的环境认知和理解能力，从而显著提高机器人的智能化水平。. 项目研究了RGB-D 点云数据的处理与图像序列的自动划分问题，完成了RGB-D 图像序列的建模与场景建图，以及基于RGB-D 与WiFi 信息融合的移动机器人定位，实现了场景识别、机器人定位与环境建图三者同时在线完成，此外，项目还开展了全面、系统的实验验证工作。具体来说，项目提出了基于ESN神经网络在线学习的图像序列划分与建模方法，实现了场景的自动提取与高层描述；提出了基于平面特征与统计信息网格的RGB-D SLAM方法，实现了精确的机器人6D位姿估计和对环境场景的平面特征化建图；提出了WiFi信号强度与RGB-D图像融合的SLAM方法，实现了更加准确的室内环境定位和建图，以及更加鲁棒的闭环检测；提出了基于图像序列拓扑关系的移动机器人全局定位方法，实现了较基于单帧图像方法更加准确和快速的室内场景下的全局定位。. 本项目在机器人环境感知与建图中引入了对场景图像序列的划分、建模和识别，因此能够创建包含场景信息的更高层的环境地图，进一步增强了机器人对环境的理解能力，有助于消除人和机器人在描述和理解同一环境时的偏差，实现二者的有机统一，其研究成果有望应用于服务机器人的人机协同、机器人智能监控与巡检、以及目标搜索与操作等领域。. 项目按照计划书要求执行，完成了计划书所列研究内容，达到了预期指标。共发表学术论文19篇，其中中科院SCI一区论文7篇，IEEE汇刊论文6篇；同时获得发明专利1项，申请发明专利2项，获得计算机软件著作权1项。