多源信息融合的室内移动机器人定位与导航关键技术

The application of indoor mobile robots has evolved from a simple fixed-path task to an intelligent diversified task, which makes it particularly important to improve the environmental semantic understanding, precise positioning, and intelligent navigation technology. Therefore, for large-scale indoor environments with diverse scene types, high similarity, strong time-varying and large dynamic interference, the project focuses on the following: ① The hierarchical semantic map building method of indoor scene integrated with WiFi and 3D visual information, solves the problem of extraction and comprehensive expression of multilevel information such as scene semantics, target vision and geometry information, WiFi fingerprint. ② Multi-source information fusion based global accurate positioning method for indoor mobile robot, solves the problem of global location semantic positioning, rapid convergence and precise positioning of geometric precise position. ③ Real-time position and pose estimation methods based on tight coupling of multi-modal information such as RGB-D cameras, IMUs, and odometers, solves the problem of local-range high-precision real-time positioning. ④ Intelligent navigation method of mobile robot in large-scale complex indoor dynamic scenes, solves the problem of object detection and recognition of moving target and specific navigation targets and the robot dynamic obstacle avoidance process in the course of motion planning. The research results of this project can be widely used in home service robots, professional scene service robots, AGV indoor mobile robots, which can enhance the level of intelligent semantic location and navigation.

随着室内移动机器人由简单固定路径应用向智能多样化任务的拓展，迫切需要提升环境语义理解、精准定位和智能导航能力。为此，项目针对场景类型多样、相似度高、时变性大、动态干扰多的大型室内环境，重点研究：①融合WiFi和三维视觉信息的室内场景层次式语义地图创建方法，解决面向语义和几何定位导航需求的场景语义、目标视觉与几何信息、WiFi指纹等信息的提取与综合表达难题；②多源信息融合的机器人语义精确定位方法，解决全局地点语义定位、几何精确位置的快速收敛和精准定位难题；③基于RGB-D相机、IMU和里程计等多模态信息紧耦合的实时位姿估计方法，解决局部范围高精度实时定位难题；④大型复杂室内动态场景下的移动机器人智能导航方法，解决运动目标、特定导航目标检测识别和机器人动态避障过程中运动路线规划难题。研究成果可广泛用于家庭服务机器人、专业场景服务机器人、AGV等室内移动机器人，提升智能语义定位和导航水平。

本项目针对大型室内场景相似度高、类型多样、场景时变性大、动态干扰多等问题，融合三维摄像机、IMU、WIFI等多源信息，重点开展复杂室内场景的多层次高精度三维语义地图创建技术、融合WIFI和三维视觉的机器人场景识别与精确定位、基于多模态信息融合的局部精准定位、动态目标的检测识别、动态环境下的运动规划等方面的研究工作。1）多层次高精度三维语义地图创建技术包括场景目标高效语义分割方法和复杂室内场景的SLAM系统研究。本项目提出的窄深度网络 (NDNet)能大幅提升实时语义分割效率，同时确保对小对象的高分割精度，达到65.7% 的平均交并比；提出的低纹理室内环境的鲁棒点线RGB-D SLAM系统，能同时输出6D姿态估计和3D地图，且性能优越。2）基于WiFi和三维视觉信息的机器人全局位置定位技术提供当前场景类型及可能的位置点，达到语义节点定位需求，本项目提出的基于增强误差修正的WiFi室内定位模型（MEGPR），复杂室内场景下平均定位误差达到2.084米；应用视觉引导定义的序列-多决策集成WiFi定位系统弥补了单一定位的不足，不仅能提升定位精度，而且大幅降低了定位时间。3）基于多模态信息融合的机器人实时位姿估计技术在IMU实时在线初始化与高精度惯导解算、基于多模态信息紧耦合融合的位姿估计等方面取得成果，为地图创建、定位和实时导航提供精确的局部范围内的实时位姿估计。本项目提出的逐层级特征融合的神经网络位姿估计技术（HFF6D），可有效解决物体初始位姿估计错误、快速翻转以及严重遮挡的情况下鲁棒性较差的问题。4）大型复杂动态场景下移动机器人智能导航方面，研究了基于异构GAT网络的导航目标精准识别、大型动态场景下的移动机器人运动规划等方法，可实现动态环境下无碰撞最优路径规划与智能导航。项目关键技术（室内环境三维语义地图创建、精准定位、智能化导航）应用于家庭服务机器人、专业场景服务机器人、AGV等智能移动机器人中，有效提升了产品竞争力，大大提高了产品销量，帮助相关企业取得了很好的经济效益。