基于多源视觉信息和眼动模拟的机器人主动视觉方法研究

How to make the robot face the unknown environment and act as a human being to observe the environment and find the target of interest is still It is a challenging task. To solve this problem, this project studies the online registration of multi vision sensors to make them move independently and let the "eyes" of the robot move flexibly. Object oriented recommendation method based on visual saliency guided by bottom-up and top-down multi source visual information will be studies to reduce the visual attention region of the robot, and then learn the eye movements of human beings when they observe these proposed objects by using machine learning method. Based on these methods, to achieve visual simulation of the robot eye movements and reflect the visual process. The research of active vision technology in this project can significantly reduce the amount of data calculation of robot vision system, enhance the robot's ability to adapt to the environment, and improve the interaction efficiency of the robot and the environment. The research content of this project has a more urgent demand and broad application prospect in the field of intelligent robot.

如何让机器人面对未知环境时能够像人一样通过眼动、扫视等行为主动观察环境并发现感兴趣的目标是一个极具挑战性的课题。针对此问题，本项目通过在线配准多源视觉传感器实现机器人视觉系统在多传感器各自独立运动情况下的底层视觉数据融合，改变机器人视觉系统只能整体运动的现状，让机器人的“眼睛”灵活地动起来。基于多源视觉信息研究自底向上和自顶向下相结合的视觉显著性引导的目标推荐方法，减少机器人的视觉关注区域，然后结合推荐的目标学习人类观察这些目标时的眼动过程，最终实现机器人视觉眼动过程模拟，体现视觉过程。本项目对主动视觉技术的研究能够显著地减少机器人视觉系统的计算数据量，增强机器人的环境适应能力，提高机器人与环境的交互效率，在智能机器人领域有较为迫切的需求和广阔的应用前景。

本项目以视觉显著性信息为引导发现复杂场景中的目标并研究眼动模拟方法，使机器人视觉系统的关注点在多个目标间连续过渡和转移，通过研究使智能移动机器人能够主动发现场景中的各目标，像人一样通过连续观察逐步地理解环境，从而减少目标识别等高层算法的计算负担，提高机器人的适应未知环境的能力和与环境交互的效率。本项目研究内容包括基础算法模型、数据集创建和应用研究三个方面。基础算法模型方面，围绕机器人主动视觉这一主题开展多源视觉传感器联合标、多特征聚合和自注意力机制引导的视觉显著性检测、基于频域先验与时空关联的视频显著性检测、基于视觉注意的各向异性卷积模块设计、基于位置显著性损失度量的计算方法、基于任务的端到端注视点转移预测方法等。数据集创建方面，设计了桌面型眼动数据采集系统，采集了10个被试人观看RGB-D和行车记录仪视频数据时的眼动数据，并基于眼动数据创建了显著性检测数据集。应用研究方面，设计了小型地面移动机器人主动视觉计算平台，将视觉显著性分析方法应用于移动机器人室内地标检测，初步验证了视觉显著性检测在机器人应用中的作用。