面向无人机基于在线场景建模的室外目标检测与跟踪方法研究

The two challenging issues in visual target detection and tracking of aerial robots are: 1） the dynamical coupling between aerial robot and vision system is not employed as prior knowledge in scene searching, which deteriorates the algorithm real-time performance; 2） the inseparability between target and environmental shadow in lighting condition yields target natural variation and leads to poor robustness of detection and tracking algorithm. This project focuses on these issues limit the target detection and tracking application. Firstly, based on the aerial robot's dynamics model, according to the target and shadow's estimation to predict critical process area in the future time steps, and an onboard video scene online modeling method will be proposed based on the dynamics; with the resulting area from the online modeling, by applying the tri-color attenuation model of shadow imaging mechanism to achieve complete shadow elimination and the feature of moving target undisturbed, to accomplish the high efficient target detection; On this basis, applying the static shadow feature method, to realize the target lossless transform in multiple successive images and remove the shadow interference, and achieve the high efficient target tracking. This project employs the system modeling, shadow imaging mechanism method to propose the real-time performance and robustness of onboard computer vision applications that expands the application area of UAV's vision system.

飞行机器人视觉目标检测与跟踪方法应用中存在两个难题：其一，飞行机器人本体与视觉系统的动态耦合关系没有作为先验信息对场景搜索区域进行预测，算法实时性下降；其二，对于室外光照下的目标和环境阴影带来的影响不能完全剔除，致使目标特性发生改变，目标检测和跟踪算法鲁棒性变差。本项目针对以上制约飞行机器人机载视觉系统应用的难题，基于飞行机器人动力学模型，根据目标、阴影区域位置来预测未来时刻必要的处理区域，提出基于飞行动力学的机载视觉场景在线建模估计方法；以该方法获取的区域范围为基础，基于阴影成像机理的三色衰减模型，消除阴影影响，使目标不受阴影干扰，实现目标的高效检测；在此基础上，再应用阴影特征不变变换方法，将目标特征在连续多幅图像进行无损变换，去除阴影干扰，实现高效的目标跟踪。本项目参考系统建模、阴影成像机理等理论方法，提出一种高效的具有光照自适应能力的目标检测与跟踪算法，拓展机载视觉系统的应用范围。

无人驾驶飞行机器人（UAV）以其独特的飞行能力及低成本 低损耗，战场生存能力强及高机动等诸多因素，在军用及民用方面具有广泛的应用前景，而基于视觉的目标检测与跟踪是智能视觉系统中的重要任务。本项目针对无人机视觉中的检测与跟踪问题进行研究，最终的目标是搭建视觉系统，完成可以适应室外复杂环境和光照变化的目标检测与跟踪方法。本项目的主要成果总结和科学意义如下：.1）搭建完成无人机视觉系统，实现目标实时跟踪、运动目标检测和电力线的实时检测。.2）完成阴影不变特征的提取方法研究，并将其应用在序列图像中，提出具有阴影抵抗力的目标跟踪方法。.3）提出SKCF方法，使其对目标尺度变化具有更好的适应性，并将其应用在基于Hi3516a处理器的视觉跟踪系统中。.4）提出基于场景建模与阴影分析的运动目标检测方法，显著提高运动目标检测的精度。. 本项目首先通过对不同处理器的性能研究，选择适合机载视觉系统的处理器，并以此为核心搭建视觉处理系统；然后针对无人机视觉系统面向的室外场景的特点对其中的目标识别与跟踪方法进行研究和实现，并将其应用在机载视觉系统中，为无人机视觉系统的应用做出相应的贡献。