在轨视频图像特征提取与压缩关键技术研究

The ever increasing resolution of remotely-sensed image and video has made the efficient image and video data transmission through wireless network a challenging issue. To conquer this issue, this project proposes to extract and compress visual features on the remote side and transmit the visual features instead of the raw images and videos. We mainly focus on the following tasks: (1) compact local feature extraction, which is finished by fusing two complementary clues: local visual clue and spatial configuration; (2) highly discriminative visual pattern extraction by exploiting the repeatable and discriminative local visual patterns in objects of interest; (3) compact semantic feature extraction using deep learning algorithms; (4) video feature extraction and inter-frame feature compression. Extracting and compressing the above multi-level complementary features is expected to achieve more efficient and effective visual content analysis, while maintaining efficient real-time data transmission. This study is expected to contribute to the key research project: "The Basic Theory and Key Technology of Spatial Information Network for Continuous Surveillance of Maritime Targets", and provide theoretical, technical and methodological support for the research of spatial information network .

随着卫星图像视频分辨率的持续提高，如何对视频图像数据进行实时、高效传输已成为新一代卫星技术面临的重要问题之一。针对该问题，本课题对在轨端视频图像特征提取和压缩新算法开展研究。具体研究内容包括：（1）紧凑局部特征提取、（2）高判别力视觉基元提取、（3）紧凑语义特征提取、（4）视频特征压缩编码。通过融合并压缩图像区域的局部视觉信息和空间结构信息构建紧凑、高判别力的局部特征；通过发掘感兴趣物体中的固定、可重复的视觉模式来提取视觉基元码本；利用深度学习模型提取图像高层语义信息；针对视频提取多层次的特征，并设计相应的帧间压缩算法。提取并压缩多层次的互补特征有望在实现特征数据高效传输的同时保证特征的通用性和对视频图像内容的判别能力，提升后期数据分析性能。本课题预期为解决关键科学问题：“空间信息网络对海上目标连续观测基础理论与关键技术”做出贡献，并为空间信息网络研究提供理论、技术和方法支持。

随着卫星图像分辨率的持续提高，如何对在轨图像数据进行实时、高效传输已成为新一代卫星技术面临的重要问题之一。针对该问题，本课题针对在轨端图像与视频特征的提取和压缩算法开展了研究，拟使用特征传输取代传统的图像视频压缩流传输，大幅减小数据传输带宽，同时保证相同的图像内容分析效果。为保证特征的判别力、紧致性，以及对后续不同应用的适用性，本课题在多个层面开展了研究。首先，开展了基于深度学习的压缩感知图像恢复研究。项目组提出了DR2-Net深度神经网络，利用单层全连接网络学习图像重构参数进行图像初步重构，进而学习多层残差网络预测图像重构误差并对初步重构结果进行修正，逐步提升重构精度。算法可以从稀疏采样信号中重构出高质量的卫星图像，从而为高效图像数据传输提供支持。其次，完成了基于轻量化深度神经网络的二值局部特征提取和高效深度神经网络结构与高效学习算法研究，收集了卫星图像匹配数据集。项目组通过设计一个紧凑的三层神经网络来实现端到端的紧凑二值局部特征CDbin提取和压缩。所提CDbin特征紧致性、效率、图像匹配准确率均优于传统SIFT、ORB以及近期的深度网络特征。所提出的CN-Net网络结构通过引入多个网络分支并约束不同分支之间的特征互补性，改善了传统网络容易对训练数据过拟合的问题，在多个物体分类测试集上取得了比著名深度网络如Resnet、GoogleNet等更好的性能。第三，完成了深度网络图像特征压缩与哈希和基于紧凑3D神经网络的图像序列特征提取研究，收集了航拍目标检索数据集。课题组提出的特征压缩模型通过对深度网络中间特征层进行哈希编码，保留了更多的图像细节和空间结构信息，保证压缩特征的判别力、信息量和紧致性。提出的多尺度时间卷积M3D网络比传统3D卷积神经网络更加紧凑，可以有效提取视频序列中的时空特征。在本课题支持下，项目组共发表/接收学术论文23篇，课题负责人以第一发明人申请国家发明专利5项。