遥感图像快速拼接模型与算法研究

Image stitching matches a sequence of overlapping images by image warping and alignment, then fuses them into a seamless panoramic image with wider field of view. Currently, the remote sensing image stitching follows the technique of natural image stitching, and the characteristics of remote sensing data are not sufficiently exploited. The lack of targeted theory and innovative methods for remote sensing image stitching leads to inaccurate stitching results and slow processing speed. In this proposal, we will focus on the problems existing in the remote sensing image stitching, and utilize the knowledge of multiple view geometry, nonlinear optimization, and deep learning to develop new models and algorithms to tackle this issue. The main content of the project includes: convolutional neural network based adaptive feature point detection and matching; fast remote sensing image stitching based on the local projective transformation and mesh optimization; convolutional neural network based fast remote sensing image stitching; spectrum difference eliminating based on variational fusion model. It is expected that the research of this project will significantly improve the efficiency of high resolution remote sensing image stitching under the premise that the stitching accuracy is guaranteed, and provide theoretical support and practice guidance for image stitching.

图像拼接是指将一组存在空间重叠区域的图像进行形变配准并融合得到一幅更大视野的无缝合成图像的技术。目前遥感影像的拼接处理基本照搬自然图像的拼接算法，没有充分挖掘遥感数据本身的特点，缺乏有针对性的理论和方法创新，且拼接效果不够精确、处理速度较慢。本项目将针对遥感影像拼接存在的问题，结合多视角几何、非线性优化、深度学习等知识理论，发展出一套新的遥感影像拼接模型和算法。项目的主要研究内容为：基于卷积神经网络的自适应特征点检测与匹配，基于局部射影变换和网格优化的遥感图像快速配准，基于卷积神经网络的遥感图像快速拼接，基于变分法的光谱控制融合模型设计。预计本项目的研究成果可以在保证拼接精度的前提下提高遥感影像的拼接效率，并为图像拼接提供新的理论和实践指导。

遥感图像拼接技术对于大量科学研究和实际应用均具有重要价值，也一直是遥感应用研究的难点和热点问题。本项目针对遥感影像拼接存在的问题，发展出了一套新的拼接模型和算法，提出了基于显著边缘指导的深度图像拼接合成模型、基于超像素的拼接模型、以及双目图像视差估计与超分辨模型，实现图像无缝拼接，并运用大量数据对该模型进行了验证，在拼接模型与算法研发、精确度与鲁棒性提高等方面均取得了进展。..项目研究进展顺利，在理论研究方面，围绕1) 基于卷积神经网络的自适应特征点检测与匹配，2) 基于局部射影变换和网格优化的遥感图像快速配准，3）基于卷积神经网络的遥感图像快速拼接，4）基于变分法的光谱控制融合模型设计等4个方向展开了重点研究。在理论方法上取得了多项突破，圆满完成了各项研究任务，实现了预期研究目标。在研究成果方面，课题组成员已出版学术论文24篇（SCI论文15篇，国际会议论文9篇），包含19篇SCI一区/CCFA类论文。在学术合作与交流方面，参加学术会议11次，组织图像处理专题研讨会一次,邀请报告超5人次。在人才培养方面，培养博士研究生3人、硕士研究生6人。