联合能量泛函与深度学习的多模态医学图像多级别融合

Aiming at the core problems of multi-level cooperative fusion, multi-level feature extraction, we will study multi-modal medical image fusion from the perspective of energy function and deep learning. Combining with the advantages of feature-level and pixel-level fusion, we will construct an energy function model to break through the limitations of single-level fusion of multi-modal medical image fusion. Multi-scale symmetric integrated model in terms of folded networks is proposed to realize multi-level feature extraction and denoising of multi-modal medical images. Then, we prune this network for reducing the parameters to achieve the purpose of training the network effectively with limited medical images. The aim of the study is to improve the accuracy of multi-modal medical image fusion, and robustness to noise suppression. Thus, we will provide a new way of thinking and new method for multi-modal medical image fusion, and provide the reference to the other areas of image fusion.

针对多模态医学图像的多级别协同融合难建模，多级别特征难提取等核心问题，拟从能量泛函和深度学习角度出发研究多模态医学图像多级别融合问题。结合特征级与像素级融合各自的优势，构建协同特征级与像素级融合的能量泛函模型，突破多模态医学图像单一级别融合的局限性。提出多卷积神经网络折叠的多尺度对称集成网络模型，实现多模态医学图像多级别特征提取与去噪。研究剪枝多卷积神经网络折叠的多尺度对称集成网络方法，尝试通过减少网络需要学习的参数，用有限医学图像来有效训练网络。旨在提高多模态医学图像融合的精度，以及对噪声抑制的鲁棒性，为多模态医学图像融合提供一种新思路、新方法，其成果对其他领域图像融合具有借鉴意义。

针对多模态医学图像的多级别协同融合难建模，多级别特征难提取等核心问题，从深度学习角度出发研究多模态医学图像多级别融合问题。提出多模态图像深度特征提取与融合模型。包括：多尺度特征集成融合网络结构，通过不同尺度特征集成，有效地提取图像的多级别特征；多领域图像融合通用框架，学习特定领域和一般领域的特征表示；多模态图像融合的新型自监督特征自适应框架，实施自监督策略，使得主干网络能够自适应地提取特征，同时通过重建源图像来保留重要信息等。提出基于视觉注意机制的多源图像深度特征学习策略。包括：研究注意力机制块的解码器，以自监督的方式重建源图像，迫使自适应的特征包含源图像的重要信息等。提高多模态医学图像融合的精度，为多模态医学图像融合提供一种新思路。