面向动态复杂场景的服务机器人用视觉-惯性组合导航系统研究

Visual-based service robots have been widely used, however the application of service robots is tremendously limited by the slow updating speed of visual camera information, easily subjected to the change of the environment, and the inherent defects of its visual SLAM algorithm, which was greatly affected by single structure environment, change of environment, lights and shadow environment. In view of dynamic environment, single structure environment and high dynamic camera environment, the study proposes respectively, 1. Design of motion detection, compensation algorithm and data association algorithm based on IMU information under dynamic environment;2. Feature extraction and hybrid feature matching algorithm for point, line and surface under single structure environment; 3. Design of visual inertial integrated navigation system under high dynamic environment of IMU information auxiliary visual SLAM complete pose calculation method. In order to enhance the robustness of the visual inertial integrated navigation system, an improved algorithm under special environment is integrated into the SLAM framework to arrange the visual inertial integrated process.

基于视觉的服务机器人已被广泛使用，但视觉相机信息更新速度慢、容易受环境变化影响，视觉SLAM算法存在固有缺陷，使得视觉SLAM受单一结构环境、变化环境、光照、阴影环境的影响较严重，而极大的限制了视觉服务机器人的使用范围。本项目针对动态环境、单一结构环境、相机自身高动态情形分别提出：1、动态环境中，基于IMU信息的运动检测、补偿算法，基于IMU信息的数据关联算法；2、单一结构环境中，点、线、面的特征提取及复合特征匹配算法；3、视觉-惯性组合模式，高动态环境中IMU信息辅助视觉SLAM完成位姿推算方法。将针对特殊环境下的改进算法加入SLAM框架，对视觉-惯性组合流程进行编排，提高视觉-惯性组合导航定位系统的鲁棒性。

本项目面向动态复杂场景的服务机器人用视觉-惯性组合导航系统从环境特征提取、组合导航模式、嵌入式系统实现三个方面展开了详细研究，具体包括：动态环境的运动目标检测及补偿；复杂环境中复合特征的提取与匹配；基于视觉导航引导线提取；基于运动学模型约束的导航路径规划；组合导航模式及框架；导航系统的嵌入式实现。.本项目主要贡献：1）在YOLOv5中加入了增强注意力机制研究，训练并生成网络，结合DeepSORT与深度相机测距，得到了动态的障碍物识别及测距方案。测试表明，4米时测距误差为6.2%，基本满足低速服务机器人避障测距要求。2）针对光线变化、单调环境，设计了自适应阈值最临近断点检测及线段分割方法，提出分段拟合理论，结合区域信息和角点检测算子线段特征提取方法，提出了无效特征剔除方法，有效提高线性特征提取准确性、实时性。实验结果表明，在环境相似度提高8.3%的情况下，与传统算法比，本研究所述算法特征提取效率提高4倍，准确率在90%以上。3）改进了光照均衡算法，优化了OTSU(大津法)图像二值分割算法，并利用Hough直线变换检测，实现导航线的快速提取，实测结果表明，所设计的光照平衡算法和优化后的OTSU法二值化速度提升25%以上，基本符合农田等导航需求。4）利用骨架提取路径关键点，基于装备运动学模型，利用启发式算法快速生成导航路径，较传统路径规划算法，速度提高3.38倍。在复杂环境中效率更高。5）设计了一种变结构的联邦滤波，以松组合的形式融合了惯性、视觉、里程计、GPS等多种导航信息，有效提高导航系统的鲁棒性。6）搭建了两套系统样机，分别应用于工厂物流和农业采摘。研究内容有效支撑江苏省重点研发计划（产业前瞻与共性关键技术），并承担其中一项子课题“果、茶采摘机器人高效作业智能化控制技术研究”（项目号BE20211016-5）。形成了智能化自主移动采摘平台，对本研究中的部分算法进行验证。