基于深度卷积生成对抗网络的3D-MRI图像超分辨率重建研究

3D-MRI images super resolution (SR) reconstruction could improve the accuracy of computer aided diagnosis, analysis, and research on disease. Recently, deep convolutional generative adversarial networks (DCGANs) emerges as an efficient neural network. As to the best of our knowledge, there has not been any study that SR reconstruct 3D-MRI images based on DCGANs. This project adopts DCGANs SR reconstruct 3D-MRI images aiming at improving the accuracy and efficiency of the network model. The research content of our project includes: We construct training set based on the cross-plane self-similarity of 3D-MRI images, and convert the SR reconstruction problem from 3D to 2D. By this way, we could solve the issue caused by high data dimensionality and difficulty of obtaining large medical data set. And it provides a new idea for the medical data set construction. We define perceptual objectives function based on the high level features. It could improve the accuracy of the SRGANs model. To ease the training of DCGANs, we utilize the batch normalization and residual blocks to design the architecture of DCGANs. This project provides a new strategy and instruction for the 3D-MRI images SR reconstruction, and solve several problems caused by the transition of the neural networks from 2D to 3D. This project is also significant for clinical applications.

3D-MRI图像超分辨率重建能够提高计算机辅助诊断与医学图像分析的精度。深度卷积生成对抗网络作为一种新兴、高效的网络模型，目前尚无将其应用于3D-MRI图像超分辨率重建的研究报道。本项目拟采用深度卷积生成对抗网络超分辨率重建3D-MRI图像，以构建高性能、高精度的网络模型为目标，主要研究内容包括：利用3D-MRI图像的跨层面自相似性构建训练集合，将3D-MRI图像超分辨率重建任务降维，解决医疗数据难以获得以及数据维度高带来的挑战，为训练集的构建提供新思路；基于高层特征构建符合人类视觉机制的目标优化函数，提高超分辨率生成对抗网络的重建精度；采用批量规范化与深度残差网络的思想构建模型的网络结构，在保持网络深度的基础上，提高模型的训练速度。本项目为3D-MRI图像超分辨率研究提供了全新思路及理论与方法的指导，解决了神经网络从2D到3D过渡的一些关键问题，同时在医学临床方面具有重要应用价值。

磁共振成像（MRI）能够提供高对比度的人体组织影像，并且成像方式灵活，可以通过多参数成像突出不同组织的细节信息。然而，MRI扫描时间较长，但扫描对象无法长时间保持静止不动。因此，MRI成像容易产生运动伪影。增加扫描层厚能够提高扫描速度，但层厚越大，MRI的空间分辨率越低，并且容易产生部分容积效应，不利于疾病的分析与诊断。近年来，基于深度卷积神经网络（DCNNs）的超分辨率重建算法为提高图像的空间分辨率提供了新思路，它强大的非线性学习能力，使超分辨率重建研究有了突破性进展。本项目组对基于DCNNs的3D-MRI超分辨率重建研究领域的一些重要问题展开了创新性研究，提出了各向异性和各向同性3D-MRI超分辨率重建算法，有效地提升了MRI的空间分辨率，能够提高计算机辅助诊断与医学图像分析的精度。本项目组的主要研究工作如下：.① 面向各向异性3D-MRI超分辨率重建，分别提出了基于残差学习的RLSR算法和基于增强生成对抗网络的ESRGAN算法。上述两个方法均利用3D-MRI的跨层面自相似性，利用二维卷积神经网络学习图像的三维特征，该方法可在消耗较少硬件资源的情况下，超分辨率重建任意层面选择方向的切片，有效地恢复3D-MRI的中/高频信息，提升3D-MRI的超分辨率重建效果。.②面向各向同性3D-MRI超分辨率重建，分别提出了空洞卷积编码解码网络DCED、并行卷积神经网络CDSR、基于注意力机制的FASR网络、基于稠密连接与反卷积的DDSR。 DCED算法将三维空洞卷积作为编码器，以获取更多的图像上下文信息进行推理学习，同时利用反卷积作为解码器，缓解空洞效应。CDSR算法采用并行卷积与反卷积，直接从低分辨率3D-MRI 提取图像的上下文信息和多层次特征。FASR算法该网络自动提取不同的信息特征，并利用并行通道和空间注意力机制来增强有价值的图像特征、压缩冗余信息。特征通过精炼之后，利用子像素卷积上采样，并将特征融合以预测高分辨率细节。DDSR算法利用稠密模块提取低分辨率图像的多层特征，并利用稠密连接进行特征传递。末端的反卷积层可以自动学习上采样参数以生成高分辨率MRI。