基于半盲压缩感知的时空遥感图像融合

Spatio-temporal remote sensing (RS) image fusion is a good solution to obtain images with both high temporal and high spatial resolution via employing the information complementation of the spatio-temporal RS images. However, current methods for spatio-temporal RS image fusion are still hard to reconstruct the complex and detailed features because the information complementation is not explored adequately..In our proposal, we take the satellite images with low spatial resolution as the downsampling results of the satellite images with high spatial resolution. Then the research issue of spatio-temporal RS image fusion is converted to the research issue of blind compressive sensing (CS), where both the sampling matrix and the sparse coefficients are unknown. ..In the procedure of solving the aforementioned blind CS problem: the correlations of spatial structures and the relationships of downsampling within the spatio-temporal RS images are used to construct the semi-random sampling matrix; we then use the characteristics of clustering and persistence in the sparse representation coefficients as priors to calculate the initial values for the fusion images; finally we solve the semi-blind CS problem in the frame of Variation Bayesian to obtain the more precise sampling matrix and sparse coefficients. ..The innovative merits of the proposal lie in that: it is the first method to employ the semi-random sampling matrix to explain the spatial downsampling of resolution degradations. It is also the first attempt to model the research issue of spatio-temporal RS image fusion via semi-blind CS and optimize it with the Variation Bayesian theory.

时空遥感图像融合利用高时间分辨率与高空间分辨率图像之间的信息互补来获得时间和空间分辨率都比较高的融合图像。当前时空遥感图像融合因为对信息互补利用的不够充分而难于重建复杂而丰富的细节特征。..为此，本项目根据不同卫星图像的时空对应关系，把低空间分辨率图像看做对应时刻高空间分辨率图像的空域降采样数据，进而把时空遥感图像融合转化成需要同时求解采样矩阵和稀疏系数的半盲压缩感知问题。在求解过程中，基于时空遥感图像空域的关联结构和采样关系辅助构造半随机采样矩阵，以时空遥感图像稀疏表征系数的聚集和持续等特性为先验知识并给目标图像提供初值，最终在变分贝叶斯框架下进一步求解更加准确的采样矩阵和稀疏系数。..本项目的创新性主要在于：首次提出构造半随机采样矩阵描述空域降采样关系，并在采样矩阵和稀疏系数都不完全知道的半盲压缩感知框架下基于变分贝叶斯理论优化求解时空遥感图像融合问题。

本项目在压缩感知理论框架下开展时空遥感图像的融合的研究，主要解决时空遥感图像的稀疏表征，自适应采样和如何利用时空遥感数据的连续性进行融合重建等重要问题，最终实现利用高时间分辨率与高空间分辨率图像之间的信息互补来获得时间和空间分辨率都比较高的融合图像这一研究目标。..针对时空遥感图像融合中不同时空分辨率数据的信息增益利用不充分从而导致融合精度不高的问题，研究了压缩感知理论框架下时空融合的观测模型、数据表征和重建算法，建立了既能够刻画空域降采样关系又具有随机性的半随机采样机制, 提出了面向长时间序列的增量动态字典学习模型、完善了引入结构性稀疏约束的融合重建算法，攻克了观测模型不能满足重建条件、稀疏表征不适应动态数据、重建过程不适应时空数据分布特点等难题。..本项目执行过程中，除了完成项目申请书设定的研究目标和研究内容外，申请人紧扣本学科前沿方向，超出预定研究目标和内容，率先将超分辨率方法和生成对抗网络方法引入遥感图像时空融合领域。..针对高、低分辨率之间差异大导致的融合获取的图像空间信息差的问题，研究使用多次最佳倍率的超分辨率方法叠加以获取空间信息的可能性，提出了多级超分辨率方法获取空间信息的时空融合模型，攻克了使用超分辨率方法因过大的分辨率倍率导致的融合精度差的问题，在融合精度上相较于使用单一超分辨率方法的时空融合方法都有精度提升。..针对低空间分辨率的遥感图像的空间信息少不足以支持空间信息的获取的问题，研究从临近高空间分辨率图像获取空间信息的可能性，提出了使用cycle-GAN模拟时序过程生成图像及使用小波变换增强图像的方法来提升空间信息。该方法打破了惯有的从融合时刻的低分图像获取空间信息的桎梏，为时空融合对于空间信息的获取提供了更多可能性，在融合精度上相较使用的经典算法都有一定的提升。..在本项⽬资助下，共发表第⼀标注SCI 期刊12篇，其中第⼀作者SCI 期刊⽂章2篇，通讯作者⽂章SCI 期刊⽂章10篇，2区以上论⽂4篇，发表遥感领域旗舰会议IGRSS论⽂2篇，出版学术专著2 部。获批发明专利3项。..项目负责人王力哲教授在项目执行期间获得自然科学基金委“杰出青年基金”资助，获批“万人计划”科技创新领军人才、科技部中青年科技创新领军人才等称号。