医学图像模态映射的深度模型构建与应用

In MRI-guided radiotherapy (MRIgRT) systems, it is necessary to predict the corresponding CT images from MR image data. It is of great value to establish the mapping between different modalities of medical images (modal mapping), especially modality mapping between MR and CT. The current methods for MR-CT modality mapping mainly use image segmentation and regression prediction technology on the small dataset of MR-CT image data pairs of the same patient. These methods cannot generate pseudo CT images with the quality same as the real CT images. Considering the clinical access to a large number of MR and CT images, which contains the information and knowledge of the MR and CT image features and content, this project proposes to use deep learning method to learn the models for the deep image representation on the large dataset of single-modal image and the image generator which can reconstruct the images from deep image representations. Then, the mapping relationship is established between the deep representations of different modalities to achieve accurate modality mapping and to produce high-quality pseudo CT images on a small dataset of MR-CT pairs of the same patient. The effectiveness of the modality mapping model for radiotherapy in the MRIgRT system will be validated. The study of modality mapping between MR and CT can provide a new solution for multi-modal image registration. In addition, the study of deep representation of MR images can be helpful for MR image analysis.

在MRI引导的放疗（MRIgRT）系统中，需要由MR图像数据预测对应的CT图像。建立不同模态图像之间的映射关系（模态映射），特别是MR-CT模态映射，具有重要的应用价值。当前的MR-CT模态映射方法主要利用少量同一病人的MR-CT图像数据对，通过图像分割、匹配和回归预测技术实现，尚不能生成与真实CT质量相当的伪CT图像。考虑临床可获取大量单模态图像，其中蕴含了图像模态的信息和知识，本项目提出采用深度学习方法，对大量单模态图像数据进行学习，建立提取图像深度表达的编码器和重构图像的生成器；通过少量MR-CT图像对，在不同模态图像的深度表达之间建立映射关系，以期生成高质量的伪CT图像，并对其应用于MRIgRT系统中放疗计划制定、剂量计算、在线引导等的有效性进行验证。本项目的研究还可为多模态图像配准提供一种新的解决途径，并对MR图像自动分析具有借鉴意义。

本项目针对MR-CT模态映射问题，建立实用有效的深度学习方法和模型，实现有效的MR-CT模态深度特征表达学习和提取，以期生成高质量的伪CT图像，对于MRI引导的放疗系统的研发和临床应用具有重要价值。本项目研究按照任务计划书实施，提出了基于多层次锚点近邻回归伪CT图像预测方法，用于解决MR图像数据合成伪CT图像的相关方法存在计算时间过长或需要大量的样本训练模的不足；提出了一种紧凑的、轻量级的卷积网络构架ψ-net，可高效实现由MR图像预测CT图像；提出的反馈融合迭代生成对抗网络的模态合成和分割联合学习模型，有效实现伪CT合成和放疗靶区自动分割；提出了合成伪CT的多靶区自动勾画深度学习模型，并验证剂量分布来评估乳腺癌放疗期间几何变化的临床影响；提出基于四重注意力感知闭环学习的腹部模态合成和配准联合学习方法，有效实现伪CT合成和MR-CT配准。.本项目发表相关学术论文13篇（其中SCI论文12篇），已投稿SCI期刊论文4篇，申请国家发明专利4件、其中2件已授权。获得国内外知名学术竞赛奖8项（冠军4项，二等奖3项），其中指导的研究生张逸文获得生物医学工程领域顶级会议MICCAI2020甲状腺结节超声图像分割和分类竞赛（TN-SCUI2020）分类赛道冠军。培养硕士生6人、博士生3人，较好完成了任务计划书中的计划目标。