室内动态场景的高质量全景图无缝拼接

Indoor panorama image brings great convenience to our life. For example, it can provide panoramic view of museums, shopping malls, hospitals and other public places, and provide the localization and navigation services based on panoramic maps. The basic of those services is the high-quality indoor panoramic images, which with invisible parallaxes and artifacts, no ghosting, rich in details and rich background texture. However, for indoor panoramic images, there exist great photometric inconsistencies and geometric misalignment due to illumination variations and the difference of camera projection centers. In addition, there also exist many dynamic objects in indoor scenes. To solve those problems, we focused our studies on the following four aspects: 1) The generation of High-Dynamic Range (HDR) images in dynamic scenes by fusing many Low Dynamic Range images captured with different exposure settings; 2) The image rectification based on the non-rigid model constructed by optical flows; 3) The optimal seamline detection and dynamic object compensation based on the graph cuts energy minimization algorithm; 4) The color adjustment and image blending to guarantee the color consistent in the final panorama images. This project aims to produce high-quality indoor panorama images and serve the needs of society and the people's life.

室内全景地图正给人民的生活工作带来巨大便利，如博物馆、商场及医院等公共场所的全景地图浏览、定位及导航等。为实现上述应用，需要高质量全景影像，即细节丰富、无明显拼接缝及“鬼影”且背景信息丰富等。但室内场景存在光照强度不一致、几何错位大以及动态目标多等和上述需求矛盾的情况。针对这些问题，本项目拟研究以下内容进行解决：1）室内高动态范围图像合成研究，通过融合不同曝光度的影像，获得细节丰富的影像；2）影像校正研究，通过计算影像间光流场，构建非刚体模型进行全局校正，减小影像间几何错位；3）基于图割模型的最优拼接线寻找算法研究，结合颜色、梯度及纹理信息，寻找最优拼接线，同时对运动目标进行背景补偿； 4）匀光匀色及影像融合研究，使全景图色调保持一致，并沿拼接线进行影像融合，从而消除拼接缝。本项目旨在研究室内动态场景的高质量全景图的全自动生成，服务于社会需求。

室内全景地图正给人民的生活工作带来巨大便利，其基础正是高质量全景影像。但室内场景存在光照强度不一致，几何错位大以及动态目标多。针对该问题，本项目研究了以下内容：1）室内高动态范围图像合成研究，融合不同曝光度的影像，且自动检测其动态目标，获得无细节损失的影像；2）影像变形研究，通过计算影像间密集光流场，构建非刚体模型进行全局校正，减小影像间几何错位；3）基于图割模型的最优拼接线寻找算法研究，结合颜色，梯度及纹理信息，搜索最优拼接线，同时对运动目标进行背景补偿；4）匀光匀色及影像融合研究，使全景图色调保持一致，并沿拼接线进行影像融合，从而消除拼接缝。通过对以上内容进行研究，最终获得了高质量的室内动态场景下的全景影像。.在项目实施过程中，本项目组成员采用自主研发的设备，采集了武汉大学图书馆，珞珈创意城、小型办公室及写字楼等区域的数据，为后续研究提供数据支撑。现对项目代表性工作进行简要叙述。在影像变形研究上，创造性地提出了结合密集光流场的影像变形算法，解决了影像间存在的巨大几何错位问题。在此基础上，还提出一种同时校正色差和几何错位的影像变形算法。基于上述研究成果，发表SCI期刊论文2篇。在拼接线搜索上，提出了基于图割模型的拼接线搜素方法，并进一步提出了处理多张影像拼接中拼接网构建的方法，相关研究成果在摄影测量排行第一的期刊ISPRS Journal上发表论文2篇。此外，还将拼接线搜索方法应用于遥感影像拼接，并进行改进，发表SCI期刊论文3篇。在匀光匀色研究上，创造性地采用多样条曲线拟合颜色映射曲线，解决了现有线性模型难以表达影像局部色差的问题。该方法即可用于全景影像，也可用于遥感影像，相关成果在ISPRS Journal上发表论文2篇。.综上所述，在本项目中，针对几个关键科学问题，都提出了极具创新性的工作，达到了世界先进水平，不仅很好地解决了室内全景影像高质量拼接的问题，还对遥感影像拼接问题进行了充分地研究，超额完成了项目要求。