融合增强型生成对抗网络和医学影像的CSM智能辅助诊断关键技术研究

The technology of intelligent computer-aided diagnosis using medical image and artificial intelligence has great potential and broad applications in medical and health industry. However, the inadequacy of labelled high-quality medical images is the bottleneck and poses enormous challenges in the development of the technology. In view of this, this topic focuses on the following four aspects for studying the intelligent computer-aided diagnosis of cervical spondylosis myelopathy (CSM).(1) An unsupervised registration model based on vector representation and image reconstruction is proposed to solve the problem of losing direction and hierarchy information in CSM image registration. (2) A segmentation model based on weakly supervised learning and generative adversarial network is proposed. With a small number of full annotation samples and weak annotation samples, pixel-level segmentation and personalized segmentation of CSM images are achieved respectively. (3) A semi-supervised classification model that incorporates the CapsuleNet into the generative adversarial network, and a multi-channel generative adversarial network are obtained, which alleviate the problem that it is difficult for the generative adversarial network to achieve the Nash equilibrium. Therefore, accurate recognition of CSM can be achieved with a small number of annotation samples. (4) A CSM rehabilitation prediction model incorporating CapsuleNet and long-short-term memory network is proposed. This work will provide theoretical foundations and algorithms support for "AI - Medical Treatment" in the field of medical imaging.

融合人工智能和医学影像的智能辅助诊断技术在医疗健康产业中具有巨大的发展潜力和广阔的应用前景。然而，高质量医学标注图像的缺乏也使其发展面巨大临挑战和瓶颈。鉴于此，本课题结合脊髓型颈椎病(CSM)辅助诊断在以下四个方面展开研究：（1）提出基于特征向量化表达和图像重构的无监督配准模型构建方法，以解决CSM图像配准中方向、层次信息易丢失的问题；（2）提出基于弱监督学习和生成对抗网络的分割模型，利用少量全标注样本和较多的弱标注样本，实现CSM图像的精准分割；（3）提出融合Capsule机制和生成对抗网络的半监督分类模型构建方法，并在此基础上构建多通道生成对抗网络模型，在一定程度上解决了生成对抗网络不易达到纳什平衡的问题，实现CSM的精准识别。(4) 提出融合CapsuleNet和长短期记忆网络的CSM康复预测模型。本课题的研究将为基于医学影像的“AI医疗”提供理论依据和算法支持。

融合人工智能和医学影像的智能辅助诊断技术在医疗健康产业中具有巨大的发展潜力和广阔的应用前景。由于传统机器学习方法的性能在很大程度上依赖于人工制作的特征质量以及领域专家所具有的先验知识，其应用范围十分有限。生成对抗网络相比其余卷积神经网络具有更卓越的生成能力。本课题结合智能辅助诊断在以下几个方面展开了研究：（1）提出基于特征向量化表达和图像重构的无监督配准模型构建方法，以解决医学图像配准中方向、层次信息易丢失的问题；（2）提出基于弱监督学习和生成对抗网络的分割模型，利用少量全标注样本和较多的弱标注样本，实现医学图像的精准分割；（3）提出基于生成对抗网络的半监督分类模型构建方法，并在此基础上构建多通道生成对抗网络模型，在一定程度上解决了生成对抗网络不易达到纳什平衡的问题。(4)提出了一种新颖的三维端到端医学影像跨模态合成网络，称之为双向映射生成对抗网络。通过该网络，影像上下文信息和隐层向量输入将能有效地被利用于医学影像的跨模态合成之中。为了弥合合成影像和真实医学影像之间的差距，提出的方法不仅着重于从源域影像合成可感知的目标域影像，而且着重于反映不同受试者所具有的不同生理解剖结构细节。本项目基本完成了任务书的预定目标和主要考核指标：申请美国发明专利1项，中国发明专利11项，其中授权2项。发表SCI/EI论文18篇。本课题的研究将为基于医学影像的“AI医疗”提供理论依据和算法支持。