共融机器人的视觉注意模型及其深度强化学习方法

Robot environment perception and human-robot interaction are complex dynamic perception and action decision making processes. For complex tasks and dynamic environment, the robot vision based on computer vision model has great limitations in environmental adaptability and actions learning. Inspired by the selective attention and feedback mechanism of human vision, this research project considers the robot visual perception process as a sequential action decision problem with environmental feedback, and make the best use of the latest progress of deep learning and cognitive science to explore the dynamics model of visual attention and deep reinforcement learning method, and establish a framework for robot vision system including visual features learning and memory, the dynamic prediction of fixation and action decision. This research project will bridge between the high dimensional visual sensor input and robot action decision, make future coordinated robot tackle the challenges in dynamic environment interaction and human-robot interaction.

机器人环境感知与人机交互是一个复杂的动态感知与行为决策过程。面向复杂任务与动态环境，基于计算机视觉模型的机器人视觉在环境适应性与行为学习方面具有很大的局限性。本课题拟借鉴人类视觉的选择性注意与反馈机制，将机器人视觉的感知过程看作为一个具有环境反馈的时序行为决策问题，利用深度学习与认知科学的最新进展，探索视觉注意的动力学模型及深度强化学习方法，为机器人视觉系统建立从视觉特征的学习记忆，到注视点动态预测与优化选择行为决策的模型框架。本课题的研究将为高维视觉传感输入与机器人行为之间架设一座桥梁，使未来共融机器人能够应对复杂动态场景交互与人机自然交互的挑战。

视觉是机器人不可或缺的重要组成部分，在获取环境信息与人机自然交互过程中发挥着关键性作用。本课题主要围绕机器人视觉系统，研究了面向视觉目标搜索、场景语义描述、人体检测与姿态估计及动作识别的注意模型与学习方法。主要内容包括：.1）研究视觉注意模型与学习方法，提出了一种用于视觉目标的同时定位和分类的循环网络视觉注意模型及强化学习方法。该网络模型将视觉目标检测与分类看作为一系列决策问题，选择性提取视觉场景的局部观测序列，通过融合局部信息完成视觉目标定位和分类的任务。该模型在公开数据集上能够取得更好的定位精度与计算效率。.2）研究基于注意机制的人体检测法方法，提出了一个类注意机制的级联神经网络高精度人体检测器。该网络模型每一级网络仅关注感兴趣的视觉目标，能对上一级网络的输出进行更精确的分类与定位。我们的检测器在公开数据集上都取得了当前最好的检测精度与定位精度。.3) 研究基于注意机制的图像内容语义描述方法，提出了一个由图像主题指导注意力机制的图像描述产生网络模型，以及一种基于注意机制的从粗到精的两阶段解码网络模型。通过引入注意机制，模型可以对场景图像内容进行精准生动的自然语言描述，提升图像描述生成的效果。.4）研究人体姿态估计与动作识别方法，提出了联合人体检测与姿态估计的网络模型，以及注意力引导的动作识别网络。该模型适用于人体姿态变化较大的高精度人体检测，融合注意力机制能够重点关注关键帧与人体重要关节点的变化，有效提高了人体动作识别的精度与效率。. 项目研究工作发表高水平论文15篇，申请专利1项。研究成果对研究基于注意机制的目标搜索模型，以及面向动态环境感知与人机交互的视觉系统具有重要的科学意义与应用价值。