面向智能辅助诊断的医学影像报告生成方法研究

The crossover study of medical imaging and the advanced artificial technology is included in the key development targets in the international medical imaging research field. Clear, accurate and readable image reports are the basis of complete semantic information communication between doctors in different departments and patients. In this study, we investigate the method of medical imaging reports generation for intelligent assistant diagnosis scenarios. In theoretical research, a medical image semantic association model which integrates multi-modal topic information is proposed based on the joint embedding of medical images and texts. The semantic association mechanism between images and texts is established based on complementary topics. On this basis, we propose a hierarchical medical image caption prediction method to generate clinical explainable and understandable natural language descriptions for doctors. As one outcome of this study, a prototype system for Chinese medical imaging reports generation using the medical image caption method will be developed to assist clinicians in writing high-quality imaging reports.

医学影像与高等智能技术的交叉研究及应用是国际医学影像领域的重点发展目标。内容表述清晰、准确易读的影像报告是不同科室医生以及患者之间进行无缺失语义信息交流的基础。本项目开展面向智能辅助诊断的医学影像报告生成方法研究。在理论研究方面，构建融合多模态主题信息的医学影像语义关联模型，基于医学“影像-文本”联合表示，从主题层面建立影像与文本模态信息互补的语义关联机制；在此基础上，研究可解释的层次化医学影像描述方法，利用医学影像的语义相关主题生成医生可理解、临床可解释的自然语言描述；在实际应用方面，本项目将开发基于医学影像描述的中文医学影像报告生成原型系统，为辅助医生撰写高质量影像报告提供信息服务支持。

智能辅助诊断场景下，要求计算机对影像检查发现进行准确解释和描述，进而辅助医生高效撰写影像报告。现有研究工作在利用自然语言对医学影像进行临床可理解的完整描述方面仍存在不足。本课题提出一个面向医学影像理解与解读的可计算框架，以建立“影像-文本”联合表示为知识基础，对医学影像与报告文本之间的潜在语义关联进行建模，进而预测符合影像真实语义的文本描述。. 本课题通过收集整合多模态影像数据资源，涉及X射线、CT、MRI、病理等多种影像类型，以及胸部、头颈、腹部、骨肌等多类解剖部位，并提取影像相关的语义标注、图片描述、报告文本等多粒度文本信息，形成可比对的医学“影像-文本”语料库，为医学“影像-文本”联合表示模型的构建提供了基础。提出基于数据自举的医学多模态预训练方法，为联合表示模型融入更广泛的医学图文对背景信息。开展医学影像语义关联建模研究，总结了一系列多模态语义关联度计算方法，构建基于多模态混合编解码器的医学影像语义关联模型，通过多阶段的多模态模型训练策略，实现视觉空间和语言空间的多粒度对齐。在此基础上实现了层次化医学影像描述生成模型的构建与评价研究，完成针对胸部影像的语义描述文本生成实用性验证。进一步结合影像诊断逻辑，构建了面向不同人群的胸部X线影像报告生成模型。本课题开发面向智能辅助诊断的医学影像报告生成原型系统（MiReportor），并提供开放访问，为减轻影像医生报告撰写压力，以及促进影像组学研究人员开展临床影像人机协同实践提供了信息服务支持。