面向海上目标探测的船载视频电子稳像与融合处理方法研究

Due to the poor performance of ship-borne Radar and AIS (Automatic identification system) on small target detection, the idea of video processing and analysis is introduced by this project. To obtain stable video that expresses more features of detecting target, and support the detection, tracking, classification and identification of moving target at sea, this project uses high-resolution remote cameras and thermal imagers to shoot the waters surrounding the ship, stabilize the video image, and fuse the visible video and thermal video by measuring the attitude of ship real-time, extracting the sea background feature and analyzing the motion characteristics of target which is detected. Through the basic research of this project, the core theoretical issues of ship-borne video image stabilization and fusion would be solved, the theory and technology of global motion estimation algorithm for target detection at sea, motion compensation algorithm based on ship vibration measurement, full frame video compensation algorithm based on the dynamic sea background characteristics, ship-borne multi-source video fusion algorithm would be formed. Meanwhile, through exploring, refining and abstracting these issues, a new and general theory of video image stabilization and fusion processing algorithms would come into being, which would enrich the theories of object recognition and intelligent surveillance.

本项目针对船载雷达和自动识别系统对海上弱小目标探测和识别能力差的问题，将视频处理与分析思想引入海上移动目标的探测，利用高分辨率远距离摄像机和热成像仪摄取船舶周边海域的视频图像，通过对船舶姿态的实时测量、海面背景特征的提取以及被探测目标运动特征的分析，对视频图像进行稳像处理，并对可见光视频和热成像视频进行融合，形成稳定的、对被探测目标特征表达更为丰富的视频图像，从而为海上移动目标自动检测、运动跟踪和分类识别等提供基础支撑。通过本项研究，可解决船载视频稳像和融合增强的核心理论问题，形成面向海上目标探测的船载视频全局运动估计算法、基于船舶振动测量技术的船载视频运动补偿算法、基于海面动态背景特征的船载视频全帧补偿算法以及船载多源视频融合处理算法等成套理论和技术。同时，通过研究、提炼和抽象，形成一种通用的视频稳像理论和融合处理算法，丰富目标识别和智能监控理论体系。

项目针对海事安全监管和水上交通应急的重大需求，通过对船载视频进行稳像处理，并对可见光视频和热成像视频进行融合，形成稳定的、对被探测目标特征表达更为丰富的视频图像，为海上移动目标检测、跟踪和识别提供基础支撑。项目研究内容已按计划全部完成，达到了预期的研究目标，取得的主要成果如下：.1.提出了面向海上目标探测的船载视频全局运动估计算法。首先，提出了基于船舶姿态测量的船载视频全局运动估计算法，采用光纤惯性系统和微机电惯性系统测量船舶姿态和摄像机姿态，估计船载视频的运动；其次，提出了基于海天线和移动目标动态特征的船载视频全局运动估计算法。.2.提出了基于船舶振动测量的船载视频运动补偿算法。建立了船舶高频振动条件下的摄像机成像模型，计算船载视频图像由于船舶高频振动而导致的偏移值和旋转量，并据此提出了基于图像复原技术的运动补偿算法，以消除船舶高频振动对船载视频的影响。.3.提出了基于海面动态背景特征的船载移动视频全帧补偿算法。针对船载视频在进行稳像之后所呈现出的空白区域的现象，充分考虑海面动态背景特征和移动目标特点，提出了船载视频全帧补偿算法，保证在图像损失一定的情况下，稳像效果最佳，获得了理想的视觉效果。.4.提出了面向海上目标探测的船载多源视频融合处理算法。构建了船载多源视频数据采集系统，研制了基于卷积神经网络的多源视频融合处理算法、基于无监督的多源视频融合处理算法和基于显著性检测的多源视频融合算法，实现了船载热成像和可见光视频的融合。.5.船载视频电子稳像实验系统研发和实船验证。综合上述各种算法，开发了船载视频电子稳像实验系统，并在项目依托单位专用教学实习船“育鲲”轮和航海训练机动艇上对各种算法进行了实船试验和验证。实船试验结果表明，基于特征点匹配和振动测量的电子稳像算法将图像序列的均方根误差降低约67%，基于海天线运动和遗传算法的电子稳像算法将图像序列的均方根误差降低了36%-62%。