基于视觉的智能机器人场景理解方法研究

Scene understanding plays fundamental roles in autonomous decision-making and behavior optimization while determining the functionalities of intelligent robots in dynamic environments. However, there are many research challenges in understanding of scene structures and contents, which limit the capabilities of intelligent robots for sensing and intelligent information processing. Based on visual context, this project will analyze scene geometrical structure by composing emergent features, extract visual scene features using attention models, and propose probability graph models for scene understanding, in order to perceive the scene structure and contents as well as to illustrate the optimization mechanism in scene understanding. For scene structure analysis, we will propose effective and efficient Geon extractors; for visual scene features, we will introduce an attention model with feedback from the decision-making level of intelligent robots; for scene understanding, we will propose an integrated scene inference model by fusing geometrical and visual features. The expected contributions of theories and techniques in robotic vision will provide theoretical guidelinesand design inspirations for actual intelligent robots in sensing and perception, benefitting the development of intelligent robots both in theory and application.

环境场景理解是智能机器人在动态环境下自主决策和行为优化的前提，也是决定智能机器人功能的关键。近来，场景理解逐渐成为智能机器人环境感知和智能信息处理的瓶颈，基于视觉的场景内容和结构理解方面的研究还有待于进一步深入。本项目拟基于机器人视觉系统图像序列的上下文信息，分析场景几何空间结构并构建浮现特征向量，采用视觉注意机制提取场景外观特征，并提出概率图场景理解模型，以研究自然场景结构和内容的信息理解问题，同时阐明场景理解中信息最优化的机理。针对场景结构分析，提出高效的场景几何基元提取算子；针对场景图像特征提取，引入融入智能机器人上层任务反馈的视觉注意机制；针对理解框架，提出结合结构基元和图像特征的场景推理理解模型。本项目的研究成果将进一步发展机器人视觉的理论与方法，并为实际智能机器人的环境感知的研究提供理论依据和新的设计思路，对智能机器人的发展具有重要的理论意义和应用价值。

本项目主要研究了视觉注意机制的提取与处理算法，自然场景结构和深度分析，运动动态分析和速度估计以及准确的内容理解。本项目通过融合惯性和视觉传感器实现了静态和动态场景理解，包括目通过融合惯性和视觉传感器的联合校正方法，场景深度和静态内容理解，机器人自动态分析和跟踪，场景动态分析和跟踪。本项目的研究成果解决了利用机器人机载传感器实现场景内容和动态的理解的问题，进一步发展了机器人视觉处理的理论与方法，为基于传感器融合的智能机器人的环境感知的研究提供了理论基础，对智能机器人和可穿戴式设备的发展起到一定的促进作用。