基于多模态前列腺图像特征融合的多器官联合分割研究

Accurate segmentation of prostate and nearby organs at risk is a key issue to the clinical radiotherapy of prostate cancer. Due to the low soft tissue contrast and ambiguous organ boundaries of prostate and its nearby organs in CT images, this project will study multi-organ joint segmentation model based on multi-modality images, to achieve the accurate and automatic segmentation of prostate and nearby organs. Firstly, this project investigates a deep learning based multi-modality feature fusion method to obtain more target information than single-modality images. Secondly, based on the boundary regression method validated by the applicants before, this project further introduces the region-based semantic segmentation method and then presents a multi-task learning model integrating the semantic segmentation and boundary regression , to effectively capture the region and boundary information of the target organs. Lastly, using the shape priors of all target organs, this project studies the multi-organ joint shape model to increase the final segmentation performance. Based on the above theoretical research, this project incorporates the target appearance information, captured by the multi-task learning model, and the target shape information, included in the multi-organ joint shape model, into the deformable segmentation framework to obtain precise pelvic organ joint segmentation. The project’s implementation will supplement the current machine-learning-based image segmentation theory. Its application on the male pelvic organ segmentation will possibly address the precise radiotherapy of prostate cancer.

前列腺及周边敏感器官的准确分割是临床前列腺癌放疗的关键问题。针对CT图像中软组织对比度低、前列腺等器官边缘模糊的问题，本项目拟基于多模态影像数据对多器官联合分割展开研究，实现前列腺及周边器官的准确自动分割。首先，为了获取更加丰富的目标器官信息，研究基于深度学习的多模态图像特征融合方法；其次，以申请人前期验证过的基于边缘的回归方法为基础，进一步引入基于区域的语义分割，提出融合语义分割和边缘回归的多任务学习模型，更好的捕捉目标器官的区域和边缘信息；最后，基于各器官的形状先验，研究多器官联合形状模型，提升目标分割性能。在上述理论研究基础上，将多任务学习模型得到的外观信息和形状先验模型包含的形状信息融入到可变形分割框架下，实现精确的多盆腔器官联合分割。项目的实施将有助于完善现有基于机器学习的图像分割理论，其在男性盆腔器官分割中的应用将有望解决前列腺癌的临床精准放疗。

前列腺及周边敏感器官的准确分割是临床前列腺癌放疗的关键问题。本项目针对CT图像中软组织对比度低、前列腺等器官边缘模糊的问题，研究基于多模态影像数据的多器官分割问题，实现前列腺及周边器官的准确自动分割。. 针对目标器官边缘模糊等问题，本项目以申请人提出的边缘回归算法为基础，以提高器官分割精度为目标，研究基于目标分类和边缘回归的多任务学习方法，提出了分类引导的回归森林，实验证明了提出的算法可以提高器官分割的准确率。提出了基于像素分类和边缘回归的多任务深度神经网络，并针对不完全标记的图像，设计相应的损失函数，在前列腺及周边器官上的分割实验证明，提出的算法可以实现器官的准确分割，而且有效减少手动标记训练集的工作量。基于端到端的U-Net和Residual Unit深度学习模型，利用深度神经网络自动学习判别性特征，建立Dual ResUNet分割网络模型，实验证明，提出的算法可以得到稳定和鲁棒的分割结果。为了实现多个器官的分割，提出了交叉3D-CNNs的分割算法，为每个器官训练一个3D-CNN深度神经网络模型，在迭代的过程中这些模型以交叉的方式相互帮助，得到目标的最终分割结果，实验结果表明，提出的算法可以准确的分割体积较小的目标。为了利用形状先验信息，基于稀疏表示构建加权形状模型，在可变型分割框架下，实现各个器官的准确分割。实验结果证明，形状先验信息有助于解决目标边缘模糊问题，提升分割精度。在探讨不同模态间映射的基础上，基于手动提取的判别性特征，提出了同模态图像配准方法。针对前列腺短程治疗过程中，手术前和手术中经肠超声图像中器官变形的问题，提出了基于极坐标的图像配准方法实现放疗种子的准确放置。实验结果证明，提出的方法可以满足临床的需要。. 本项目的实施丰富和完善了基于机器学习的图像分割理论，为前列腺癌的临床治疗提供有力的技术支持，具有重要的理论意义和应用价值。