多模态深度哈希学习理论及其在大规模多模态医学图像检索中的应用研究

The Large-scale multi-modal medical image retrieval has very high value of theory and application research. On the one hand, semantic analysis, efficient indexing and retrieval ranking about large-scale multi-modal medical images perform worse than that of those retrieval algorithms on natural images. On the other hand, the "Semantic Gap" has been the most urgent problem in the field of image retrieval. Aimed at the key technology problems of multi-hierarchical efficient retrieval for multi-modal medical images, double increasing the retrieval efficiency by the multi-granular hierarchy model and Hash coding technology, improving the retrieval accuracy by multi-granular manifold ranking and relevance feedback, and realizing the multi-modal image retrieval by multi-modal deep learning and dictionary learning with sharing the coding space, so the proposed retrieval algorithms can enhance the efficiency and reduce the discrepancy between the low-level features and semantic concepts. The main research contents of this proposal include: (1) constructing the bi-directional hierarchy model based on the partition and algebra multi-grid, and proposing several corresponding multi-granular manifold ranking algorithms, (2) putting forward the Hash coding model and algorithms based on the dictionary pair learning with manifold regularization, (3) building the multi-modal Hash coding model and its learning algorithms using bi-directional deep learning for multi-modal medical images, (4) proposing the cross-modal information retrieval algorithm for medical images and diagnosis text reports, (5) developing an intelligent retrieval and auxiliary diagnosis prototype system for large-scale multi-modal medical images.

大规模多模态医学图像检索具有高度的理论与应用研究价值。一方面多模态医学图像的语义分析、高效索引、检索排序方面还未取得在自然图像上检索算法的性能；另一方面“语义鸿沟”问题一直是图像检索领域中最亟需解决的难题。针对大规模多模态医学图像的多层次高效准确检索的关键技术，通过多粒度层次结构建模与哈希编码技术双重提高检索效率，通过多粒度流形排序与相关反馈提高检索准确率，通过多模态深度学习、共享编码空间的词典学习实现多模态检索，使得提出的检索算法即能提高效率又能缩小低级特征与语义概念之间的差距。研究内容包括：(1)构建基于划分和代数多重网格的双向层次模型并提出多粒度的流形排序算法；(2)提出基于流形正则化“词典对”学习的哈希编码模型及学习算法；(3)提出双向深度学习的多模态哈希编码模型及学习算法；(4)提出医学图像/诊断文本的跨模态信息检索算法；(5)开发大规模多模态医学图像的智能检索与辅助诊断系统。

据统计医学图像数据占据综合信息化医院所有数据的80%以上，计算机X射线成像（X-Ray）、计算机断层成像（CT）、超声成像（US）、核磁共振成像（MRI）、功能核磁共振成像（fMRI）、扩散张量成像（DTI）等医学数字成像技术的快速发展，医学影像设备和PACS图像管理系统的普遍使用，产生了大量的病人生理、病理和解剖信息的多模态、动态、高维医学图像数据，这些图像是医生进行临床诊断、病情跟踪、手术计划、健康保健的重要客观依据。大规模多模态医学图像高效准确检索是一个热点研究方向，能够通过满足医师、患者对检查图像快速有效“以图搜图”的查询需求，辅助医疗诊断，增加信息使用的方便性，提升用户体验，辅助缓和医患矛盾。本项目提出了基于随机森林自动编码器的哈希检索算法、多生成对抗网络哈希检索算法、自适应的多特征多核的哈希检索算法、跨模态快速哈希检索算法、基于层次化局部约束扩散过程的图像检索算法、基于低秩矩阵的主动三支聚类算法、基于层次流形学习算法的医学图像颜色感知算法、基于谱归一化和局部化多生成多对抗的双向CT-MRI预测算法、医学图像主题生成算法等一系列先进算法，在大规模医学图像检索和辅助诊断中具有高度的理论与应用价值。