面向移动机器人语义对象的协同感知注意机制及分割方法研究

The problem of "semantic gap" between the high level semantic concept and low level perception is one of the bottlenecks of the development of mobile robot environment perception and intelligent cognition. The active visual attention and the semantic context influence are the significant characters shown by the human being vision system when recognizing the semantic object. It is worth to use the characters of the human being vision system for reference. Espied by the cognitive vision mechanism, the novel synergetic perception visual attention mechanism and segmentation method are proposed. Firstly, after analyzing the characters of the mobile robot semantic object segmentation, the mathematic effect model is built which reflects the mechanism of the context effect to object segmentation. Secondly, the invariant features describe method which suitable for the mobile robot semantic object segmentation is proposed. Then, the semantic guided synergetic perception visual attention model is built: fuse the invariant feature, high-level semantics and visual attention model, then collaborative the context information. Lastly, the experimental platform is built, which is used for the verification of the superiority of proposed semantic object segmentation method. This project quantitatively investigate the context information for the semantic object segmentation by mathematical modeling method, and then collaborative the invariant feature to the visual attention model, which provides a theoretical basis for the autonomous mobile robot environment perception and cognition, and the project has important academic and practical significance.

高层语义与底层视觉之间的"语义鸿沟"是制约移动机器人环境感知与智能认知的瓶颈。而人类视觉系统在识别语义对象过程中具有注意区域显著并受上下文影响的特点，这对复杂场景移动机器人语义对象分割具有重要借鉴意义。受视觉认知机理启发，本项目提出面向移动平台语义对象的协同感知注意新原理和分割新方法。首先，在分析移动平台语义对象分割特点的基础上，采用数学分析方法描述上下文对语义对象分割的影响机制，建立其数学模型；其次，研究适合移动平台语义对象分割的不变特征描述方法；然后，建立语义引导的协同感知注意模型：将不变特征、高层语义与注意模型融合，再协同上下文信息；最后，搭建实验平台，验证移动机器人协同上下文信息的注意模型进行语义对象分割的优越性。本项目提出以数学建模方式定量探讨上下文信息对语义对象分割的影响，将其与不变特征融合的注意模型协同，为自主移动机器人环境感知与认知提供理论依据，具有重要的学术和现实意义。

随着机器人智能化水平的提高，视觉系统起到越来越重要的作用，仿生视觉技术成为研究的热点，仿生视觉系统关键技术的研究包括功能仿生和结构仿生等部分，功能仿生中的一个核心为视觉注意机制，通过构建视觉注意模型，可以快速实现物体的分割、识别和定位等功能。.本报告总结了作者在仿生视觉关键技术方向的主要研究成果，提出一种基于多通道信息融合的视觉注意模型，通过实验和分析对本文提出算法进行了验证和性能分析。.本报告的创新工作主要归纳如下：.（1）对机器人结构仿生和机器人视觉功能仿生进行了详细综述，并设计出一种欠驱动的两自由度双目视觉系统机构。.（2）提出一种基于形状特征的特征描述与特征匹配方法，该特征描述方法对光照、尺度和旋转具有不敏感性，可用于物体识别。.（3）提出一种多信息融合的主动视觉注意方案，该方法可融合多通道视觉信息实现图像显著区域提取，通过多颜色空间信息融合以及颜色、灰度、边缘等信息融合，验证本文提出算法的有效性。