基于主动学习的移动机器人室内场景理解与统一建图

Intelligent robots need the ability to understand and model the environment rightly. This project concentrates on scene understanding and integrative map building of mobile robots in the unknown indoor environment regarding the trend that man lives with robots. The robot uses a 3D laser range sensor and a vision sensor to perceive the environment, so as to recognize environmental spatial structures and objects. Furthermore, the robot conducts thorough scene understanding and builds the integrative map that supports intelligent navigation or operation task and suitable for man watching or man-robot interaction use. On one hand, the integrative map structure that combines geometric, topological and semantic information will be studied and the model that integrates scene recognition information and support semantic inference will be proposed. On the other hand, object and scene recognition based on context relation and uncertainty process will be studied, so as to finish incremental mapping. In addition, to improve adaptability to the diverse environment and dynamic changes, the robot will actively apply prior knowledge about indoor environment using active learning. And then conducts deep understanding of the unknown scene while completes the construction of the integrative map. At last, all theoretical methods proposed will be verified based on a self-developed experimental platform.

能够正确理解和表达环境，是机器人智能性的重要体现，结合人与机器人相伴共存的发展趋势，本项目重点研究室内未知环境中移动机器人场景理解与统一图创建问题，机器人利用三维激光传感器和视觉传感器感知环境，实现对环境中物体、空间结构的认知，在此基础上对场景属性进行深入理解，并创建支持机器人智能导航及操作任务、便于人观察和人-机器人交互使用的统一图。具体而言，一方面，研究集成空间几何信息、拓扑信息、语义信息的统一图结构，提出能够融合场景认知信息、支持语义推理的统一图模型；另一方面，研究基于上下文关系、考虑不确定性处理的物体识别、场景认知，增量式地构建统一图；进一步，为提高机器人对环境多样性及局部动态变化的适应，在运行过程中，机器人基于主动学习进行特定环境中未知先验知识的主动获取，在此基础上实现对场景属性的深度理解，并完成统一图构建。最后，基于自主开发的实验平台，对本项目提出的理论方法进行验证。

随着服务、安保等智能移动机器人逐步走向实用，其场景认知与理解能力日益受到研究者关注，这涉及到识别人居环境中的物体、空间结构类别，以及对场景成分之间的关联关系、场景整体属性等高层次内容进行提取和使用。已有场景理解方法大多只利用了物体和空间结构的客观属性，或者成分之间的浅层次关系，缺乏对描述成分间关系的语义信息的充分使用，从而被动地依赖人离线提供的先验知识的精确程度和广泛程度，难以适应人居环境的多样性，而机器人在线申请先验知识的方法，基于主动学习的框架对必需的先验知识进行主动获取，能够显著提高移动机器人在不同的应用场景下的适应能力和配置效率。.项目研究了适用于场景理解的统一地图的结构，完成了基于环境上下文关系的物体识别、场景认知及增量式统一图构建，实现了基于主动学习的先验知识选择性获取及基于此的场景理解，此外，项目还开展了全面、系统的实验验证工作。具体而言，项目综合考虑类别已知和类别未知的物体和房间，以及当先验知识增加时认知图的结构变化，提出了空间层和认知层紧密耦合的统一图结构；提出了识别场景中的物体及房间目标、提取目标之间的联系、以渐进的方式建立和更新统一图的方法，在此考虑了识别过程中存在的不确定性，充分利用环境上下文关系提高识别准确率；在先验知识部分缺失，即训练数据未能涉及到某些场景元素时，提出了机器人如何界定最关键的物体、房间类别标注信息的方法，使机器人主动获取这些知识，从而完成对场景的深入理解，完善统一图的构建；提出了基于三维激光传感器数据的两级位置识别方法，实现了基于空间关系的场景识别；提出了自适应软件编码方法，实现了使用少量训练数据快速学习环境模型。.本项目在机器人场景理解和建图过程中引入了主动学习的框架，实现了对机器人最需要的最少量先验知识的及时补充，使得机器人能够高效率地适应多样化的人居环境，实现对环境进行渐进地理解和建图，从而得到包含丰富信息、便于机器人使用和人类观察的地图，其研究成果有望应用于服务机器人-人互动协作、安保机器人智能巡检等领域。.项目按照计划书要求执行，完成了计划书所列研究内容，达到了预期指标。共发表11篇论文，其中SCI论文4篇；获得发明专利1项，获得计算机软件著作权2项。