基于迁移学习的多视角医学图像协同分割及融合关键技术研究

In the field of medical research and practice, medical image segmentation and fusion technology has important clinical value. To overcome the drawbacks of single-view image in medical image segmentation, color distortion and loss of information in medical image fusion, multi-view medical image co-segmentation and fusion based on transfer learning theory is researched deeply. For the non-uniformity of gray scale, partial volume effect and noise, a preprocessing model based on edge-aware filtering is constructed. Traditional co-segmentation is lack of effective adaptive feature model and learning method, so a significant spectrum information and shortest path based co-segmentation is constructed. In fuzzy clustering method, the historical information can not be used effectively. So a "soft segmentation" model based on transfer learning and fuzzy clustering is proposed. Considering that pixels in different locations may have different importance, an image segmentation evaluation metric based on ROC analysis is proposed. For color distortion and blurred spatial details occurring in multi-spectral image and structural image, respectively, a decomposition based image fusion model is constructed. Both Segmentation accuracy rate and fusion subjective satisfaction are expected to reach up to 95%.

在医学研究与实践领域，图像分割和融合技术具有重要的临床价值。针对医学图像分割技术大多采用单一视角图像，结构图像和功能图像融合技术存在颜色失真、信息丢失等缺陷，本项目拟以迁移学习理论为基础，对多视角医学图像协同分割及融合关键技术展开深入研究。针对灰度不均匀、部分容积效应、噪声等干扰信息，本项目拟建立基于边缘感知滤波的预处理模型；针对协同分割缺乏有效的自适应特征模型和学习方法，本项目拟建立基于显著谱信息和最短路径的协同分割模型；针对模糊聚类中无法利用历史相关信息，本项目拟建立基于迁移学习-模糊聚类的“软分割”模型；针对当前图像分割评价指标大多以相同方式处理目标与背景像素，本项目将考虑不同位置像素的重要性，拟建立基于ROC分析的图像分割质量评价指标；针对多光谱图像颜色失真，结构图像空间细节被模糊，本项目拟建立基于分解的图像融合模型。本项目的预期目标是分割准确率和融合主观满意度均达到95%以上。

医学图像分割与融合具有重要的临床价值和研究意义，通过人工智能与机器学习等方法实现精准、高效且轻量化的医学图像分割与融合，对智慧医疗的发展具有重要的推动作用。本项目以深度学习理论为基础，对多视角医学图像协同分割及融合关键技术展开深入研究。在医学图像融合算法方面，由于医学图像本身具有复杂性，本项目提出了一种基于自适应图像分解的医学结构和功能图像融合算法；为了提高不同模态以及各种模态不同时间序列的图像预处理方案的通用性，本项目建立了改进的基于量子粒子群优化的脉冲耦合神经网络模型和两阶段卷积神经网络模型。同时，通过融合不同形态的图像特征，本项目提出了基于灰度医学图像和彩色医学图像的多模医学图像融合方法。在医学图像分割方面，为了减少医学影像的噪声敏感性，提高分割的稳定性，本项目结合形态学运算提出了一种有效的混合聚类算法对脑肿瘤图像进行分割；模糊C-means聚类算法在医学图像分割中被广泛使用，适合于脑肿瘤的分割，然而脑部MRI图像常常会伴有噪声因素，在很大程度上影响分割的精度，基于此，本项目提出了一种基于隶属度信息迁移与相似性度量的直觉模糊C均值算法；自动息肉分割可以提高结肠镜检查的准确性，在结直肠癌的预防中具有至关重要的作用，但现有的U形卷积神经网络不能很好地定位息肉边界，这不可避免地降低了息肉分割的性能，为此，本项目提出一种边界学习与增强网络，通过结合两个新颖的边界模块，精细地恢复边界定位效果；自动器官分割系统可以加速医学领域计算机辅助诊断的发展临床应用，本项目针对胰腺尺寸很小，对比度差异小，边界模糊，很难被发现的问题，提出了一种基于注意力机制的双视角特征学习和多尺度监督的分割网络。通过本项目研究内容的执行结果撰写了17篇学术论文，已经发表或者录用在知名学术期刊或者学术会议中，并且已经申请2项发明专利。基于本项目研究内容培养博士研究生3名，硕士研究生9名。完成了项目设定的预期研究目标。