基于深度学习的海量影像文本报告与医学图像复合信息挖掘

Currently，medical imaging processing model is based on visual and perceptual perception .Due to the intuition, this method is uncertain and ambiguous. Our previous study demonstrated that the intelligent computer algorithms can offset those shortcomings mentioned above, and the combination of two methods can improve the diagnostic accuracy. We also found that the image reports did not play its proper role clinically. Thus, based on our pervious effort on PET/CT multi-modality combined characteristics, this project is planned to analysis the massive medical imaging report and images through computer deep learning method: 1 extraction and integration of medical knowledge from unstructured text reports and medical images, further develop a database; 2 analysis and interpretation of medical imaging report and evaluation of the clinical significance of these characteristic patterns; 3 Extraction of massive imaging reports and images and further develop a computer-assisted diagnostic assessment system with combination of images and its reports. The system can reveal the relationships and evolution of multi-modality data characteristics and diseases. At present, as the emerging of multiply modality imaging techniques and the era of big data, our study has ground-breaking significance.

目前医学图像信息处理模式是建立在视觉知觉基础之上的感性过程，存在着直觉性、不确定性以及模糊性。在之前的研究中，我们发现计算机智能算法可以弥补人的感性认知，两者结合诊断效能最佳，同时还发现影像文本报告没有发挥其在临床上应有的价值。因此，本项目拟在前期PET/CT多模态复合信息特征研究的基础上，尝试利用计算机深度学习的方法对海量影像文本报告及其图像进行深入的挖掘：1. 对非结构化的影像文本报告和医学图像进行医学知识的提取与整合，形成可挖掘的数据集；2.对影像文本报告特征模式进行分析与理解，并评估这些特征模式的临床意义；3.对海量影像文本报告及其图像中的信息进行复合挖掘，构造影像文本报告与图像相结合的计算机辅助诊断评估系统，揭示多模态数据特征与疾病之间的关联关系及演化规律。在目前影像学技术多样多模态不断涌现，海量影像图像和数据亟待分析和理解的大数据时代，我们的研究具有源头创新意义。

医学图像阅读模式和影像文本报告书写模式是建立在人的视觉知觉基础之上的感性过程，存在着直觉性、不确定性以及模糊性。另外影像报告的内容受到非结构化自然语言这一表现形式的限制，难以得到充分的挖掘与利用，也没有充分发挥其在临床决策中的重要作用。因此，本项目尝试利用计算机深度学习的方法对影像文本报告及其图像进行深入的挖掘。 形成了对影像文本报告及其图像进行整合处理的深度学习方法；建立了影像文本特征与医学图像特征的映射关系；提出了一种面向肺癌自动分型的智能影像数据处理方法；探索出一种能提高医生效率的医学影像病灶的标注提取方法；形成了一种基于深度学习方法的医学影像诊断报告自动生成系统；还发明了一种PET/CT报告的智能化、交互式阅读方法。产出了相应的理论和关键技术。