基于仿生视觉的空中机器人室外环境感知与导航技术研究

The ability of autonomous environment recognition is a key feature of aerial robots' high intelligence. In this project, we study a new Bionic visual perception based high-level environment recognition and map building algorithm for dynamic outdoor environment. First, for multi-source heterogeneous sensors, we design a feature point matching based hierarchical joint calibration model, and further the space-time characteristics of images and depth data in dynamic condition is to be reconstructed. Second, we study the semantic representability of space-time characteristics of dynamic objects. Aiming at dynamic environments, we conduct a research on deep temporal CNN introducing bionic visual attention mechanism, so as to mine the motion information implied in image sequences. Further, we will study the classification and semantic annotation of dynamic objects. Thirdly, we construct the layered environment model based on spatial grid-vector feature, and conduct a research on static and dynamic environment map building. In addition, we will build a visual semi-physical simulation platform and a real quadrotor, to verify the feasibility of the above strategy. We hope that our research will improve the autonomy and safety of UAVs.

自主环境辨识是空中机器人高智能化的重要体现。本项目针对空中机器人的室外动态复杂工作环境，研究并验证一种基于仿生视觉感知的深层次环境辨识与地图构建方法，以提高空中机器人对复杂环境的适应性：1）针对多源异构传感器系统，设计特征点集匹配方法，建立逐级分层的数据融合模型，研究动态条件下图像和深度数据的空间与频率特性重构算法；2）研究运动物体的时空特征表示性和语义性，针对动态复杂环境，设计基于仿生视觉感知的显著性区域识别方法，建立深度时态卷积神经网络，深入挖掘图像序列中的运动信息，研究目标分类与语义标识问题；3）分析动态三维地图的表示性，建立基于空间栅格矢量特征的分层环境模型，结合矢量匹配和粒子滤波算法，研究动态目标与静态环境的分离与动、静态地图构建方法。最后，本项目还将通过半物理仿真平台和真实的多旋翼无人飞行平台对方案和算法的有效性进行验证。

重点围绕“环境感知与自主导航”这一主题，开展了深度学习的理论研究及相关方法在空中机器人领域的应用探索。受自然界生物视觉系统的启发，探索了双目视觉、遥感图像、激光雷达等传感器以及深度卷积神经网络等方法在环境感知领域的应用，研究内容及结果主要包括：（1）针对复杂光照环境下的无人机定位问题，提出基于双目视觉的定位算法，通过极大值抑制算法对图像特征点的数量与分布进行优化，并提出基于深度滤波器的信息矩阵构建方法，在限制滑窗优化中特征数量的同时解决特征点差异问题，仿真结果表明：该方法可显著提升复杂光照环境下的定位精度；（2）针对复杂电磁环境下的无人机定位问题，探索了以卫星遥感图像为图像源的目标检测与辅助定位方法，对基于深度学习的图像识别算法进行了研究和改进，通过识别无人机实时航拍图像中预先训练好的地标，对无人机进行定位，并修正惯导误差，仿真结果表明：与图像特征匹配方法相比，该方法的数据存储量小，并可有效抑制惯导误差的发散；（3）针对卷积神经网络模型的压缩和加速问题，提出基于滤波器裁剪的新型卷积神经网络模型加速算法，通过计算卷积层中滤波器的标准差值衡量其重要程度，裁剪对神经网络准确率影响较小的滤波器及对应的特征图，以有效地降低计算成本，实验结果表明该算法能够对典型模型加速30%以上，且结果可以接近甚至达到原始模型的精度；（4）通过对基于激光雷达的同步定位与构图（SLAM）方法的研究，提出了区域化高斯过程地图重构算法，构建了一种新的存储量更小、更易更新的地图表现形式，在此基础上，提出了迭代GP点配准算法和基于递归最小二乘的地图更新方法，形成了一种新型SLAM方法（GP-SLAM），实验结果表明其在效率、精度及地图存储消耗等方面均优于目前的主流算法。本项目的研究成果可以为无人机的智能环境感知提供重要的技术支撑。