基于多特征融合和多尺度分解的变分自然图像分割方法研究

The human visual perception mechanism shows that human eyes can identify the salient regions of the image via fusion of multiple features, and it has a high degree of scale selcctivity to the target structure information in the image while observing the image, which provides a new way for variational segmentation method to deal with natural images with noise, blur, intensity inhomogeneity or texture. This project intends to extract and fuse multiple features of images under the variational framework, and generate a comprehensive feature map that can enhance the representation ability of the target region. Based on the feature map, a new similarity measure is designed and adaptively integrated into the variational segmentation, so as to realize accurate segmentation of targets in natural images; employing the characteristics that the image segmentation relies mainly on its (large scale) and the image multi-scale decomposition can extract the target structure of the original image, the image multi-scale decomposition method can be organically embedded in the variational segmentation model to achieve accurate and fast segmentation of natural images; According to the variational method and the optimization theory, the existence and uniqueness of the proposed model and the convergence of the proposed algorithm are analyzed. The research of this project can further deepen the application range of variational image segmentation technology, provide new theories and methods for variational image segmentation research, and provide theoretical application basis for computer vision and pattern recognition.

人类视觉感知机制表明：“人眼在观察图像时，能够融合图像多特征信息识别目标显著区域，且对图像中的目标结构信息具有高度的尺度选择性”。这为变分方法分割带有噪声、模糊、灰度不均或者纹理的自然图像提供了新的思路和方法。本项目拟在变分框架下，研究如何有效提取并融合图像的多特征，生成能够更显著地表征目标区域的综合特征图，基于该特征图设计新的相似性度量并将其自适应地嵌入变分分割模型中，实现对自然图像的精确分割；利用图像分割主要依赖于其目标结构（较大尺度）这一特性以及图像多尺度分解可以提取图像的目标结构的思想，将图像多尺度分解方法有机地嵌入变分分割模型中，实现自然图像的准确快速分割；根据变分法与最优化理论，分析所提模型解的存在性、唯一性以及所提算法的收敛性。本项目的研究可进一步深化变分图像分割技术的应用范围，为变分图像分割研究提供新的理论与方法，也为机算计视觉和模式识别等领域的应用研究提供理论基础和方法。

图像分割是计算机视觉中重要的研究内容，尤其是针对医学图像，精确的病灶分割能够帮助医生对患者做出精准的诊断以及预后，本课题基于变分水平集、无监督域自适应、多注意机制、有监督学习、弱监督学习等一系列方法首先开展了自然图像与遥感图像的分割，在此基础上开展了围绕病理医学图像分割的其他图像处理任务研究，并将相关技术推广到其他医学图像处理领域。具体包含以下成果：在基本按照研究计划顺利进行，针对自然图像与遥感图像，分别提出具有全局最优解的变分活动轮廓模型以及无监督域自适应遥感图像分割模型。针对病理医学图像，围绕图像分割任务，开展了五项研究，包括提出融合全局与局部感兴趣区域的图像染色质量评价模型；融合多注意机制的免疫荧光图像沉积模式分类模型；基于生成对抗网络生成实例的肾小球钉突识别模型；设计分层分割网络用于提取肾小管萎缩区域；基于自适应加权的置信度校准的多模态荧光图像分类及膜性肾病早期诊断模型。这些成果为后续项目的继续深入研究提供了基础，在实际应用方面有望为基于病理图像的肾病智能辅助诊断提供技术支持。项目在研期间，在EAAI、CMPB、SP等期刊和会议上发表论文20余篇，其中SCI论文15篇；申请发明专利4项，授权3项；培养硕士研究生15人。