图像破损结构的三维重建理论研究

The image inpainting in large region with complex background is the hot research topic in the field of multimedia image processing, while the reconstruction of damaged image's structure information is the key of solving this problem. Due to the lack of effective 3D modeling method, current structure reconstruction algorithms are mostly realized in 2D space. It is difficult to achieve complete restoration and automatic propagation of structure information with current methods for lacking of a complete description of structure information..This project intends to introduce the Kansa 3D modeling method to the image processing field with image decomposition technique, and develop basic research of image structure's 3D reconstruction theory to realize the automatic propagation and complete restoration of image's structure information. The main research topics of this project include: developing an adaptive test points selection method according to the requirment of image structure 3D modeling; determining the mathematical model and realizable method for 3D reconstruction of image structure information based on the selected test points; researching the optimal selection method of image decomposition parameters; analyzing and improving the exist texture synthesis methods to achieve their organic combination according to the 3D model of image structure; improving the traditional texture synthesis method and studying an patch size's adaptive selection method to adapt to different image structures. The purpose of this project is to provide new approach and theoretical basis for the automatic image inpainting in large region with complex background.

大区域复杂背景图像的自动修复是当前多媒体图像处理领域的研究热点，而图像破损结构信息的重建则是解决这一问题的关键。由于缺乏有效的三维建模方法，当前结构重建算法大都是在二维空间进行，对结构信息缺乏完整的描述，难以实现其完整修复和自动传播。课题拟利用图像分解技术，将近年来出现的Kansa三维建模方法引入图像处理领域，开展对图像结构信息三维重建理论的基础性研究，以实现图像破损结构信息的自动传播和完整修复。课题主要研究内容包括：根据结构图像三维建模的需要，研究能够反映图像结构特征的建模中心点自适应选取方法，并在此基础上，确定结构信息三维重建的数学模型和具体方法；研究图像分解参数的最优化选取方法；根据图像结构的三维模型，分析和改进已有纹理合成方法，实现二者的有机结合；改进传统纹理合成方法，研究能够适应不同图像结构的样本块大小自适应选取方法，为大区域复杂背景图像的自动修复提供新的方法和理论依据。

图像结构信息的自动传播是大区域图像修复领域的研究热点。由于缺乏有效的三维建模方法，当前算法都是在二维空间进行，缺乏完整的描述，效果不够理想。为此，项目组对图像3维建模方法进行了论证和相关理论研究，提出了图像3维建模的具体方法，并对其建模效果进行了量化分析，验证了模型的有效性和准确性；此外，还对基于结构引导的纹理合成算法进行了研究，以保证结构正确传播的同时，进一步提高纹理图像的修复效果。.项目组利用图像分解技术去除图像纹理成分，使其满足分片平滑的要求，这为实现图像的3维建模奠定了理论基础。此外，项目组对建模时相关配点的自适应选取方法和原则进行了深入研究，在保证特征点选取的同时，尽量满足均匀性的要求，保证了建模效果，并利用矩阵条件数对图像建模效果进行了量化分析。.项目组利用Guided滤波器去除纹理和噪声干扰，获得图像的整体结构信息；利用各向异性扩散算法中的边缘停止函数，提出了改进的等照度线检测方法，并利用其对纹理合成过程进行引导，获得了理想的修复效果。此外，传统基于样本块的图像修复算法，随着修复过程的不断进行，置信度很快衰减并趋近于0，容易产生错误的引导修复方向。为解决上述问题，项目组提出一种新的置信度更新函数，可以有效抑制置信度衰减过快的现象，在很大程度上提高了引导修复方向的准确性。同时，引入Census变换匹配准则，通过将其与传统SSD匹配准则相结合，提高了匹配精度。.项目执行期间，共申请国家发明专利15项，其中授权4项，另外11项处于公示当中。在国内外学术期刊及会议上发表（或录用）文章12篇，其中SCI检索期刊1篇，EI检索期刊10篇，国际会议1篇，中文核心期刊3篇，另有2篇文章被EI检索期刊录用，即将发表。此外，项目组还完成4篇SCI国际期刊学术论文，已经投稿，目前正处于审稿阶段。项目执行期间，共资助硕士研究生18人，本科生14人；其中，毕业硕士研究生13人，毕业本科生11人。.项目组对图像三维建模理论开展相关基础性研究，确定了建模中心点的选取方法和相关准则，为图像三维建模奠定了理论基础。提出了基于结构引导的纹理合成方法，实现了结构传播和纹理合成的有机结合；同时，改进了置信度函数和匹配准则，提高了图像修复效果；并根据图像结构信息确立了样本块大小自适应选取方法，提高了图像修复算法的自适应性和运算效率，推动了该领域的发展。