视觉惯性融合的移动增强现实地图构建方法研究

It has been an emphasis to develop augmented reality in both military and civilian area. And the fusion of visual and inertial sensing has been a core issue to solve the mapping problem in the mobile application. This project commences with analyzing the classical mathematical model of visual and inertial fusion, then building a novel fusion model based on the iterative extended Kalman filtering. The performance regarding computational efficiency and accuracy will then be quantitatively analyzed. With the basis of the fusion model, this project will take full account of the characteristics under practical application, including static scale and mobility aspects. with respect to the research of the scaling model, the method combining intrinsic sensing based scale estimation with probabilistic external reference will be carefully considered. On the other hand, a novel direct visual method will be adopted in tracking pure rotational movement. Within the kinetic research, the boundary of overlap rate for sequential images and the compensation effect of inertial sensing will also be studied. To sum up the above studies, the final mapping model and method for mobile augmented reality will be built, targeting at providing stable background support for deploying virtual models.

移动增强现实技术在军事和民用领域都有强烈的需求，而基于视觉和惯性感知的融合式地图构建方法是该项技术中不可回避的关键问题。本项目将从视觉惯性融合算法的模型出发，构建基于迭代滤波的融合框架，综合分析比较传统和新型模型的计算效率、精度等性能指标。以此为基础，研究将重点从移动增强现实技术的应用特点着手，深入从尺度参数估计、运动模式分析两个角度考虑技术难点问题。在尺度参数模型中，探索将基于视觉和惯性测量的内源感知模型与基于预设标识的外源尺度参照相结合的机会式估计和更新方法；对于移动旋转运动模式的跟踪和补偿，将以新颖的直接视觉信息匹配为主要建模方法，探知视觉算法中图像重叠率的约束边界以及惯性模型的补偿作用。通过对算法框架基础和关键技术难点的研究，拟形成面向移动增强现实应用需求的地图构建模型和算法，为虚拟模型的平稳叠加和呈现提供有力的理论和方法支撑，推动移动增强现实技术在轻小型装备中的发展。

项目针对以移动增强现实中运动特性增多、感知性能受限、真实尺度缺乏的实际挑战，从视觉惯性融合的数学模型基础出发，设计相关位姿估计算法，并在多无人机协同规划及环境地图构建两个方面做了应用实践。在算法研发方面，首先，对视觉惯性融合框架进行理论分析和具体模型验证，并在视觉惯性融合算法的前端和后端，分别做了相应改进。通过视觉特征点筛选，进一步建立几何及光度误差共同构成的联合残差项，并在融合滤波框架中进行迭代。其次，在融合框架理论分析的支持下，对地图构建中视觉感知信息来源进行深入分析，形成了以人工标识为参照的真实尺度恢复及累积误差修正策略，在位姿估计的视觉环路中引入较为稳定的人工标识检测模块，实现算法迭代中的正向激励，机会式恢复真实尺度，使得增强现实中虚拟物体得以真实尺度叠加于真实物理空间中。此外，本项目不仅局限于单个敏捷运动个体的应用测试。在研发的后期，本项目将视觉惯性融合位姿估计算法进一步推向多机应用以及快速三维构建的原型系统上做应用测试，使得所研算法在理论研究上和工程应用上都得到了实践。一方面，为检验多机运动时协同探索的冗余感知和碰撞规避问题，研究提出了一种动态质心区域分割方法，该方法能够将工作区域按照无人机的位置和任务量进行划分，划分区域进一步与地图熵相结合，实时对局部路径进行优化，在多机位姿信息协同共享的同时，提高了多机探索规划整体效率和算法鲁棒性。另一方面，为了将算法进一步推向系统级实践应用，改进的视觉惯性融合位姿估计算法进一步应用部署到一个快速三维重建原型系统的无人机上。该系统使用无人机通过预设航迹对指定区域进行正射影像采集，通过构建稀疏点云生成三维环境。该系统替换了原有算法模块仍能够稳定运行，取得满意结果。实践表明，系统中的算法以模块化的方式引入，能够实现软硬件解耦也便于系统的拓展升级。