面向机器人视觉的深度学习与拟人记忆机制特征提取融合方法研究

Based on the intelligent mobile robot platform, this project proposed a novel vision object feature extraction frame combined human memory mechanism and deep learning. In order to leap over the semantic gap in the field of computer vision, this frame gets inspiration from human vision and memory, and accomplish vision object feature extraction with deep learning method most likely to auto learn high level semantic feature. In this framework, firstly, we study and mimic human vision and memory mechanism to establish vision object feature model. Then we focus on the study of the humanized memory mechanism conducting method based on deep learning. Finally, combining the information of robot vision, we research the control method based on reinforcement learning, and verify the effectiveness of proposed feature extraction method.

本项目以智能移动机器人为平台，提出了一种新的结合人类记忆机制与深度学习的视觉目标特征提取框架。为了能够跨越视觉领域的“语义鸿沟”，该框架将从人类视觉与记忆中获取启发，并结合最有可能自动学习视觉目标高层语义特征的深度学习方法来完成视觉目标特征提取。在该框架中，首先研究并模拟人类视觉与记忆机制建立视觉目标特征模型，然后针对基于深度学习的拟人记忆机制修饰方法开展研究，最后结合机器人的视觉信息，研究基于强化学习的控制方法，并验证所提出特征提取方法的有效性。

本项目以提高智能移动机器人的感知和决策能力为目标，在人类视觉与记忆生理模型的基础上，建立了长时记忆、短时记忆在机器人环境感知与跟踪决策中的应用模型，在机器人与人共存环境中，获得了利用深度学习算法，实现人类意图理解、人类行为预测为目标的机器人决策、控制与导航方法，结合视频摘要技术，探究了视觉目标高层语义特征的深度学习方法实现机器人自主学习、持续学习的方法和算法。取得的成果如下： .1）提出了一个基于认知心理学记忆模型的RGB-D目标跟踪方法，解决了目标跟踪中的稳定性-可塑性困境。提出了一种表观-形状协同学习方法，对目标的表观变化与形状变化进行协同度量，根据度量结果分别更新目标的二维表观模型与三维形状模型。.2）提出了一种基于长短时记忆网络和仿人决策任务中断的肢体交互意图理解方法。该方法采用基于3D人体骨骼点信息的交互起止端检测方法，实现了自然开启和中断交互、区分交互对象和无关人员的功能。.3）提出了一种与人共融环境中服务机器人的智能控制与导航控制方法。针对人类生活场景中常见物体识别、人体的静态、运动、交互问题，研究了结合RGB-D信息的DMP动态关联记忆模型行人检测方法，基于PCA-CCA Network RGB-D目标识别，获得了一种基于逆强化学习的机器人导航方法，实现了机器人在与人共处环境中识别人类意图并决策的方法。.4）提出了采用“视频摘要”思路，实现机器人拟人化自然学习的方法。通过模拟⼈对事物从概要到精细化的观察学习过程，从三个⾓度层层递进使⽤视频摘要对机器⼈捕获的视频信息进⾏关键内容的提取，再通过摘要出的关键内容学习规则，实现了机器⼈的任务学习并完成特定任务。.本项目的研究成果，在智能服务机器人领域有重要的理论意义和应用价值，2020年度在中关村管委会首批概念验证项目的支持下，正在开展与多家机器人龙头企业的合作工作。