无人机航空侦察图像镶嵌与目标定位关键技术研究

Image mosaic and object localization technology for UAV aerial reconnaissance are hot research topics in the current military and defense fields. Although there are many research achieves at home and abroad in related areas, in the application of practice, we found that there are still a number of key technologies problem. This project intends to use the visual attention mechanism, and researches image mosaic method based on interest region localization. We research the image matching method based on camera motion estimation, which detects regions of interest according to context clues, and constraint the search range and direction of matching region by estimating the whole motion of image, in order to improve the accuracy of image matching. We research panoramic image smoothing technique based on multi-level processing, and solve the seamless smooth problem by camera imaging and illumination principle, in order to correct the effects of the global brightness imbalance between the image sequences. The multi-scale wavelet analysis method is studied for the local fusion process of the transition overlap region. We explore the cumulative error compensation of parameters from the global optimization view, high-precision image correction, the mathematical model from the target point in the panoramic image to the world coordinate transformation for improving the positioning accuracy of the full-screen image. The study of this project is expected to solve a number of technical requirements in battlefield image reconnaissance and other military photoelectric systems, which produces significant economic values and social benefits.

无人机航空侦察图像镶嵌与目标定位技术是当前军事与国防领域的研究热点，尽管国内外在此相关领域取得了很多研究成果，但是在应用实践中，我们发现还存在若干需要解决的关键技术问题。本项目拟采用视觉注意机制，研究基于感兴趣区域定位的图像镶嵌方法，研究基于摄像机运动估计的图像匹配方法，根据上下文线索探测感兴趣区域，通过估计图像的整体运动约束匹配区域的搜索范围和方向，以提高图像匹配的准确度。研究基于多层次处理的全景图像无缝平滑技术，从摄像机成像和光照原理上解决无缝平滑问题，校正图像序列之间的全局亮度不平衡效应，并研究采用多尺度小波分析方法对过渡重叠区域进行局部融合处理。探索从全局优化补偿参数累积误差、高精度图像校正、全景图像中的目标点与大地坐标系变换的数学模型等多方面提高全屏图像定位精度的计算方法。通过本项目的研究 .有望解决战场图像侦察等军用光电系统领域的多项技术需求，从而产生重大的经济价值和社会效益。

无人机航空侦察图像镶嵌与目标定位技术是当前军事与国防领域的研究热点，尽管国内外在此相关领域取得了很多研究成果，但是在应用实践中，我们发现还存在若干需要解决的关键技术问题。本项目主要研究无人机航空侦察图像镶嵌与目标定位关键技术，主要解决图像的准确匹配、变换参数的精确求解、全景图像的无缝拼接等问题。.在研究过程中我们项目组还发现如果有运动目标时镶嵌图像容易出现鬼影现象，因此通过运动目标检测方法检测序列图像中有无运动目标，如果有则需要消除运动目标对镶嵌图像的影响。通过对拼接图像进行无缝平滑处理，得到了全景无缝拼接图像。.本项目从多方面分析和研究了图像镶嵌误差产生的来源和研究其解决方法。由于任何两帧图像之间的变换参数误差都会累积到后续的图像镶嵌中，从而导致镶嵌图像的变形。因此，提出累积误差的处理方法，从全局的角度对所有的变换参数进行优化处理和误差补偿。.本项目提出采用基于梯度场的泊松融合方法进行图像重合区域的处理，利用指导梯度场进行膜插值，将感兴趣的区域无缝的融合到目标图像中。源图像和目标图像的梯度采用向量值去引导，使目标图上有相似于源图的梯度而边界部分保留目标图的亮度，使结果看起来没有明显缝隙。与其他四种算法相比较，本项目融合算法得到的镶嵌图像更加清晰、过渡效果更好，同时客观评价结果也表明本项目算法融合效果好于其他算法，与目视结果一致。.本项目探索了从全局优化补偿参数累积误差、高精度图像校正、全景图像中的目标点与大地坐标系变换的数学模型等多方面提高全屏图像定位精度的计算方法。通过本项目的研究有望解决战场图像侦察等军用光电系统领域的多项技术需求，从而产生重大的经济价值和社会效益。