彩色/多光谱异源双目视频运动目标分割方法研究

Moving object segmentation in videos is a challenging problem in the field of computer vision. In color videos, when the object has similar color with the background, it raises problems in boundary extraction, motion estimation and depth estimation. This project integrates the distinguishing ability of multispectral video and the high resolution of color video, and proposes a moving object segmentation algorithm using heterogeneous binocular video. Based on the applicant’s previous work on trajectory tracking and segmentation model, and considering the current work on multispectral image segmentation and registration algorithms, this project discusses the problem of registering color image and multispectral image under different resolutions, and proposes a method to simultaneously estimate motion and depth based on heterogeneous binocular video. Furthermore, this project explores methods to generate three dimensional point trajectories and region trajectories. Finally, features of different granularities, including pixel spectral, point trajectories and region trajectories, are integrated into a multi-layer graph model and solved for object segmentation. The proposed algorithm utilizes the complementary properties of multispectral video and color video, and is able to estimate depth and motion accurately. The proposed model integrates multi-granular features and increases segmentation accuracy. The research achievements can be used in fields of smart surveillance, self-aiming, and driving assistance.

视频运动目标分割是视频分析领域中一项极富挑战性的课题。在彩色视频中，当目标与背景颜色相似时，边缘提取、运动估计和深度估计都会面临困难。本项目将多光谱视频的高区分度与彩色视频的高分辨率有机结合，提出一种基于彩色与多光谱视频的异源双目视频运动目标分割方法。在申请人已有的轨迹跟踪和分割模型的基础上，参考现有的多光谱图像分割和配准方法，本项目深入讨论不同分辨率彩色和多光谱视频的精确配准问题，并提出基于异源双目视频同时估算运动场及深度场的方法；在此基础上，进一步研究三维点轨迹和区域轨迹的生成方法；最后，利用多层图模型融合像素光谱、点轨迹和区域轨迹三种不同粒度特征并优化求解。本项目所研究的算法利用了多光谱视频与彩色视频的互补特性，能够准确估计深度场及运动场；所提模型融合多粒度特征，提高了复杂场景下的运动目标分割精度。相应的研究成果可以为智能监控、自主瞄准、辅助驾驶等领域提供前端支持。

立体视觉技术在国防装备智能化中起到了很重要的作用。虽然激光雷达等设备能够精确获取场景三维信息，但是在需要隐蔽、禁止主动照明的情况下，需要利用被动成像技术进行场景感知。此外，军事目标通常采取伪装隐蔽的手段，使其表观特征与背景接近，这对传统立体匹配技术带来了挑战。本项目提出结合可见光和多光谱成像技术对场景进行立体感知，可以同时获取目标的形状、颜色信息，以及多光谱信息。本项目完成了异构双目立体视觉数据采集平台的搭建，在仅有一台镀膜式视频多光谱成像仪的情况下，基于视频光谱仪和高精度平移台完成了静态场景多光谱双目立体视觉采集平台的搭建。基于异构双目立体视觉平台以及多光谱双目立体视觉平台，进行了数据采集并研究了系统标定方法。针对微透镜阵列和马赛克镀膜式的视频光谱仪进行了数据预处理研究。其中，基于微透镜阵列视频光谱仪，研究了各谱段空间位置配准和多光谱数据立方体生成方法；基于马赛克镀膜式视频光谱仪，研究了基于泰勒级数展开以及基于小波变换的解马赛克方法。完成了基于多光谱数据的光流场计算方法，并研究了基于图像分割和光流匹配的视频区域轨迹生成方法，实现了基于区域轨迹谱聚类的视频分割算法，并进一步实现了结合点轨迹和区域轨迹的多粒度视频分割算法。d在多光谱双目视频和彩色双目视频的基础上，研究了低信噪比情况下的立体视觉匹配方法。在研究和实验基础上，取得了一定数量的理论和实践研究成果，发表了多篇国际期刊和会议论文，并申请了多项发明专利。总体看来，随着多光谱视频技术的日益成熟，传感器成本降低，该设备可以在无人战车导航、伪装目标检测和跟踪、三维场景侦察等方面取得广泛的应用。本项目所研究的彩色、多光谱立体视觉技术是新原理仪器在传统立体视觉中的应用探索，研究结果为多光谱立体视觉、微光立体视觉、红外立体视觉以及各种异构立体视觉的研究奠定了基础，同时也在多光谱目标检测和跟踪方法取得了一定的研究进展。