基于建筑特征及卫星图像的城市环境中移动机器人视觉定位方法研究

When a mobile robot travels in urban areas, onboard Global Positioning System (GPS) signals may be obstructed by high-rise buildings and thereby can not provide the accurate position. However, the visual features are very rich in urban environment. Therefore, to localize the mobile robot in large scale urban area accurately and automatically, we will focus on visual localization based on building geometric features and satellite images, with a single onboard camera as the main sensor.Specifically, we will study the following work: 1). Line feature matching across multiple views based on feature fusion and the geometric constraints between features; 2). Method for generating high level landmarks, primary planes from building facades and their corresponding co-planar lines, with the outputs of step 1); 3). Automatic 2D building boundary extraction from high resolution satellite image, generating the geometric maps of mobile robot workspace; 4). Visual localization scheme based on the extracted high level landmarks from 2) and 2D building boundary map from 3). Through the research on this project, on the one hand, a visual localization method for mobile robot in urban environment based on building features and satellite image is proposed; On the other hand, the related techniques from this project can promote the applications in assisted driving and vehicle automatic navigation.

城市环境中GPS信号易受到高层建筑遮挡且定位精度不高，而城市场景中的视觉信息却非常丰富。因此，为了实现移动机器人在大范围城市环境中的精确自主定位，本课题将围绕以车载单目相机为主要传感器，基于建筑几何特征及城市卫星图像的移动机器人视觉定位方法展开研究。具体而言，本课题将对如下内容进行研究：1.基于多种特征融合的多视图间线特征匹配算法；2.基于研究内容1的结果，以建筑物侧平面及平面内线特征为核心的高层次路标设计与提取方法，进而实现建筑特征精确描述；3.基于高分辨率卫星图像的建筑物二维俯视轮廓提取算法，实现机器人工作空间的地图构建；4.基于研究内容2中提取的高层次路标及研究内容3中提取的建筑物轮廓地图的视觉定位方法。通过本项目的开展，一方面，在理论上完善一种基于建筑特征及卫星图像的城市环境中移动机器人视觉定位策略，推动相关领域研究进展；另一方面，推进其在智能辅助驾驶、车辆自主导航等领域的应用。

随着智能辅助驾驶及无人驾驶技术的研究日益受到关注，复杂城市环境中的移动机器人自主导航方法成为研究热点。在复杂城市环境中，诸如GPS及北斗导航等卫星信号易受到高层建筑遮挡而无法随时随地的提供定位与导航服务。由于城市环境中的视觉信息非常丰富，所以视觉定位与导航方法成为主要研究方向。然而，城市环境中的视觉定位方法面临着包括数据量大、特征匹配鲁棒性差、环境建模复杂且精度不高、全局定位的鲁棒性及实时性差等问题。针对上述问题，本课题在线特征匹配算法、基于高层次特征的环境建模、以及基于环境模型及卫星地图的视觉定位算法等方面展开了研究，取得了以下研究成果：（1）针对点特征精度低且易受环境干扰，以及线特征匹配困难等问题，提出了一种基于多重几何约束的视频帧间线段特征匹配算法，实现了人造环境中线段特征的准确、快速匹配。（2）针对基于点特征的环境建模方法计算量大、存储环境地图所需空间大、环境表示精度较低等问题，设计并实现了基于特征融合技术的高层次环境地图构建方法。（3）针对卫星信号易受到遮挡无法提供定位导航服务的问题，完成了复杂城市环境中基于高层次环境地图及卫星地图的移动机器人视觉定位算法。.综上所述，本项目研究实现了线特征匹配，并基于此实现了高层次路标提取与环境地图重建，并完成了复杂城市环境中的移动机器人自主定位，提高了移动机器人自主导航的环境适应性、鲁棒性及应用范围。