基于块的变分法图像处理理论模型及其数值方法

Some Patches-based variational models and the related numerical methods for image processing are studied in this project, in which the objective is to improve the quality of the results of image processing by using texture information. As a remarkable feature of the nature images, texture is an important research topic in various real applications. It is well known that the local geometrical properties can be well characterized by the variational Partical Differential Equations (PDE) models from functionals. However, the traditional PDE method cannot well capture some global features of the image such as the textures. Though noise and textures in the image are difficult to be discriminated in the scale of points, they can be well identified in the sense of image patches, due to the fact that a piece of texture in an image would be regularly ordered but randomly for a patch of noise. In this project, we shall construct a function space with high dimensions to describe the information of the position and the similarities among different image patches, and then we could define a novel differential operator in this space to realize all kinds of patches-based local and nonlocal image operations. Meanwhile, we would naturally intergrate the statistical and variational methods to propose some variational models based on image pathes, and the well-posedness of these models would also be studied. Moreover, some special models and the related numerical algorithms would be designed for a variety of types of noise. Finally, the method would also be extended to the image segmentation and registration. A set of patches-based variational methods for image processing would be built in this project. The main challenges of this project include how to construct the differential operator to realize the patches operations, how to unify the methods between statistics and variational methods, and how to numerically calculate the minimizers of some non-convex and nonlinear functionals.

本项目主要研究基于块的图像处理变分模型及其数值方法，目的在于利用纹理信息提高图像处理质量。纹理作为自然图像的一种重要特征，是许多实际应用的重要研究课题。通过一般泛函变分得到的偏微分方程模型能够很好地表达图像的局部几何性质，但是不能很好地刻画图像整体性质如纹理等。因为噪声与纹理不能在点的尺度下很好地被区别开，而在块的尺度下纹理是有规律的排列，噪声是杂乱的。本项目拟通过构造高维函数空间来描述图像中块与块之间的位置及相似关系；定义新型微分算子实现以块为单位的各种局部及非局部运算；将统计与变分法有机结合，建立基于块的偏微分方程图像处理模型；讨论模型的适定性；针对各种噪声，设计相应的图像去噪数值方法，并将方法推广至图像分割和配准等问题。形成一套基于块处理的变分法图像处理方法。主要的挑战是实现块运算的微分算子构造、统计与变分法的融合以及非凸泛函极小元的快速计算。

近十年来，变分法与非局部方法(nonlocal)成为图像处理的研究热点。本项目研究变分法及基于块的非局部模型与算法，巧妙地将一些统计方法结合进变分模型。在变分法图像分割与统计方法的结合、变分分割模型的凸化及其在点云曲面图像数据的应用、基于块的去噪算法、基于块的nonlocal TV方法研究方面获得了一系列成果，基本完成了项目预期目标。项目执行期间，共发表论文6篇（SCI 5篇），投稿论文3篇。获得教育部高等学校优秀研究成果奖（自然科学奖）二等奖一次，获全国优秀博士学位论文提名一次。5篇受本项目资助发表的SCI论文共被引用47次(Google数据)。其中发表在IEEE TIP上的基于图像块去除混合噪声方法的论文被引用24次。项目研究成果主要包括：. 在变分法图像分割模型建立方面，我们利用EM算法的变分框架，首次将统计中的EM算法与TV正则统一到一个变分模型。利用这一变分框架，我们研究了基于块的图像分割局部高斯混合模型，获得了比已有同类方法更好的图像分割结果。同时，我们研究了基于点云曲面数据上的图像分割，形成一种基于点云数据曲面上图像分割的新算法。研究结果已发表在JSC。. 在凸化图像分割模型的问题上，我们利用寻找函数凸包的方法凸化了多相Chan-Vese（CV）图像分割模型。首次给出了多相CV模型能凸化的数学条件，并建立了凸模型下相应的数值方法，提高了分割算法的稳定性。大大增强了相关模型的实用性。进一步，我们利用函数的上水平集表示，构造了一种新的求解非凸分片常数水平集模型的算法，形成一系列新的连续最大流算法，提高了求解该类模型的效率及稳定性。研究结果已发表。. 在基于块的图像去噪模型的研究中，我们巧妙地结合EM算法与字典学习，将EM算法统一进变分框架，构造了一种能良好保持纹理的去除混合噪声的模型与算法。该研究首次给出了字典学习模型下处理混合噪声的一般性变法框架，研究结果已发表在IEEE TIP上。现已被引用24次。. 在基于块的Nonlocal TV变分法研究中，针对已有的基于点的Nonlocal TV方法的不足，我们重新定义了块梯度算子及相应的块散度算子，并将统计中的EM算法统一到变分模型中，构造了一个能自适应调节权重的基于块扩散的Nonlocal模型，提高了图像去噪的质量，并证明了该模型解的存在性。相关研究成果及其应用已形成多篇论文并投稿。