共融交互中的机器人语义场所感知与自主作业

With the rapid development of artificial intelligence and robotics, intelligent robots are gradually entering into human families and become the indispensable members among them. However, how to seamlessly communicate with people, complete daily tasks, and keep along well with people depends on the key breakthrough of robot's perception and understanding of environment and interaction with people..Among them, the perception and understanding of place is one important sub-task. In this project, co-existing robots' perception of semantic place and autonomous operation is studied from the following three main ways: 1) Optimize the design of the architecture of deep neural network, and acquire and express the object semantic based on deep learning; 2) Set out from the "prototype" theory of cognitive psychology, and establish the model of place prototype and study on the place perception algorithm. 3) In the mode of human-robot interaction, study on the place understanding algorithm according to the place semantic mapping produced and annotation on it and realize the motion planning and task execution of intelligent robot when facing to some complex tasks. Through the deep study of this project, a solid foundation is laid for human-computer interaction, service strategy, task-level planning, autonomous operation related to place, as well as the intelligent robots' successfully entering into human families and their daily life and seamless communicating with.human, etc. Therefore, the study of this project has important research significance and application value.

随着人工智能和机器人技术的飞速发展，智能机器人正逐渐步入人类家庭，成为其中不可或缺的一员。然而，如何与人类无缝交流，任务实现以及和谐共融，依赖于智能机器人对环境的感知、理解以及交互等能力的革命性突破，而场所感知与理解是其中的一个重要子任务。本项目研究共融交互中的机器人语义场所感知与自主作业，主要从如下三个方面展开研究：①优化设计深度神经网络结构，通过深度学习进行目标语义获取与表示。②从认知心理学“原型”理论出发，建立场所原型模型，进行场所感知算法研究。③在人机交互模式下，根据感知生成的场所语义地图及其标注，进行场所理解算法研究，实现给定复杂任务的智能机器人行动规划与任务实施。通过该项目的深入研究，为进一步开展与场所相关的人机交互、服务策略、任务级规划及自主作业等任务，为智能机器人顺利走进人类家庭和日常生活，与人类无缝交流、和谐相处等奠定了坚实基础，具有重要的研究意义。

随着人工智能和机器人技术的飞速发展，智能机器人正逐步进入人类家庭，人们希望机器人可以身兼数职，能够在不同场景下执行跨域任务。然而，机器人实现智能任务、与人类无缝交流以及和谐共融，有赖于对环境的感知、理解以及交互等能力的革命性突破，而场所感知与理解是其中的一个重要子任务。目前智能机器人场所感知与理解面临三个主要问题，即缺乏对高复杂性的场所多源信息的整合利用，缺乏识别场所的有效线索以及感知过程缺少语义可解释性，导致当前的方法普遍识别率较低，并且难以融入智能任务中。本研究拟从仿人的角度出发对场所感知与理解问题进行分析研究，最终形成以语义线索为核心，结合多源信息融合技术，依托知识图谱推理方法的场所感知与理解框架。主要从如下三个方面展开研究：1）针对如何增强场所感知过程的语义可解释性问题，从自然语言描述的角度出发，提出语义线索下的场所概念定义并研究相应的识别方法；2）针对复杂环境信息下的场所语义理解与识别问题，从模拟人类对场所认知过程的角度，研究并提出了基于图像及其自然语言表示相结合的方法，同时研究了与此相关的图像描述生成技术与多模态融合技术（包括提出一种基于强化学习的图像段落化描述以及一种基于互注意力机制的多模态信息融合方法）；3）从场所理解框架的角度出发，研究并提出了基于知识图谱推理的场所识别与理解框架，给出了场所领域的知识图谱构建方法与推理模型。通过该项目的研究，在语义场所感知与理解理论及移动机器人自主作业方面有所突破，取得了丰硕的研究成果，发表标注该基金号的高水平论文20余篇，为进一步开展与场所相关的人机交互、服务策略、任务规划及自主作业等任务奠定了坚实基础，具有重要的理论和应用价值。