基于桥梁影像和高精度三维实景地图的智能手机精确室内视觉定位方法

Indoor positioning technology has a high demand in various applications, and visual information is one of the important positioning sources of indoor positioning technology. The vision-based smartphone indoor positioning technology is based on a pre-established positioning library firstly, then the camera captures the positioning image for accurate camera pose estimation. It is a means to achieve accurate indoor positioning by using the popular smartphone visual sensor. However, compared with the outdoor environment, the indoor environment is complex in structure, closed in environment and unique in texture, which is a challenging visual positioning scene. This project proposes a precise indoor visual positioning method for smartphones based on bridge image and high-precision 3D-photorealistic map. The method comprises three steps. Firstly, the mapping optimization method of high-precision 3D Photorealistic maps based on portable RGB-D sensor is studied to obtain the library images, object point coordinates, feature descriptors and image orientation elements required for indoor visual positioning. Secondly, using Hamming embedded with local feature description quickly and accurately finds the bridge images corresponding to the positioning images. Finally, the relationship between the image points and the object's three-dimensional point cloud is obtained by matching the positioning image with the bridge image and calculating the pose of the smartphones.

室内定位技术在各种应用中有着很高的需求，视觉信息是室内定位技术重要的定位源之一。基于视觉的智能手机室内定位技术基于预先建立的定位库，通过手机拍摄定位影像进行精确的相机位姿估计，是一种利用大众普遍持有的智能手机视觉传感器实现精确室内定位的手段。但与室外环境相比，室内环境结构复杂、环境封闭、纹理独特，是一种具有挑战的视觉定位场景。本项目提出了一种基于桥梁影像和高精度三维实景地图的智能手机精确室内视觉定位方法。该方法包括三个步骤。首先，研究基于便携RGB-D传感器的高精度三维实景地图库优化方法，获得定位所需的库影像、物方点坐标、特征描述子和影像方位元素等。其次，利用局部特征描述的汉明嵌入快速准确查找定位影像对应的桥梁影像。最后，通过定位影像与桥梁影像匹配得到像点与物方三维点云的关系并计算智能手机相机的绝对位姿实现定位。

室内定位技术在各种应用中有着很高的需求，视觉信息是室内定位技术重要的定位源之一，与其他定位源如5G、UWB、WIFI等定位技术相比，它具有抗信号干扰、获取定位信息信噪比高等独特优势，而且视觉传感器往往是大多数设备的必备传感器，也具有成本极低、小巧、无需发射信号、耐用和无需环境布设与维护等特性，不仅可以用在室内智能手机定位，还可以用在诸如室内外无人机GPS拒止情况下的定位、巡航导弹和地面与水上装甲/舰艇的最后一道战场防御环境感知系统等。. 本项目的主要研究内容为具有绝对位置信息的基于视觉的智能手机室内定位技术，即研究基于预先建立的定位库，通过手机拍摄定位影像进行精确的相机位姿估计，是一种利用大众普遍持有的智能手机视觉传感器实现精确室内定位的手段。但与室外环境相比，室内环境结构复杂、环境封闭、纹理独特，且无具有全球基准的GPS提供初始或者初略定位信息，是一种具有挑战的视觉定位场景。. 本项目提出并实现了一种基于桥梁影像和高精度三维实景地图的智能手机精确室内视觉定位方法。取得的重要结果包括以下三个方面：首先，提出并研究了便携RGB-D传感器的高精度三维实景地图库优化方法，获得定位所需的库影像、物方点坐标、特征描述子和影像方位元素等。其次，研究和开发了利用局部特征和深度学习特征的定位影像高效检索与匹配方法。最后，实现了常规环境下和无相机参数环境下的智能手机室内甚至室外城市环境的高精度视觉定位技术。本项目实现了厘米及甚至毫米级的室内定位精度，定位时间可以达到毫秒级，大大提高了视觉定位技术的鲁棒性和效率，为未来的多场景下的应用与推广提供了技术基础；同时，由于本项目的研究，在视觉智能手机室内定位技术的几何与深度学习方法的联合定位领域提出了新的理论和思想。