面向计算机辅助诊断的病理全切片图像检索研究

The widespread application of whole slide image (WSI) in pathological diagnosis and the development of artificial intelligence technology have provided a new opportunity for computer-aided pathological diagnosis. Different from conventional computer-aided diagnosis (CAD) methods like pathological image classification, pathological WSI retrieval focuses on the diagnosed WSIs. It selects the regions of interest (ROIs) in WSI for feature analysis, and then automatically retrieves the cases which have similar content. It will provide the pathologist with more comprehensive and diversified assistant diagnostic information, such as diagnosed historical similar cases, diagnostically relevant regions in WSI and retrieval structural description. To some extent, it can assist pathologist learning and archiving the unknown WSI. According to the characteristics of WSI, such as high-volume, stain variation, complex morphological structure and expensive cost of manual annotation, this project aims to build a pathological WSI retrieval framework and computer-aided diagnosis model, based on stain normalization, relation-aware pathological feature learning and semi-supervised deep hashing encoding. Therefore, it can eliminate the influence of stain variation to image content and achieve more accurate and efficient retrieval for large-scale multi-kinds of WSIs. This research is the basic and frontier topic of intelligent medical information processing and cross research for biomedical engineering fields, and of important theoretical significance and application value for the innovation of pathological WSI analysis technology and the improvement of computer-aided pathological diagnosis level in China.

全切片图像在病理诊断中的广泛应用和人工智能技术的不断发展为探索计算机辅助病理诊断创造了新的机会。与病理图像分类等传统辅助诊断方法不同，病理全切片图像检索以诊断的全切片为研究对象，对其中的感兴趣区域进行特征分析，从已确诊的全切片数据库中自动地检索出与其相似的病例，为病理医生提供历史相似诊断病例、诊断相关区域和检索结构化描述等更加全面多元的辅助诊断信息，并在一定程度上辅助病理医生学习和归档未知切片。本课题根据全切片大数据量、染色差异化、形态结构复杂且标注代价高的特点，在研究染色标准化、关系感知的病理特征学习和半监督深度哈希编码等相关问题基础上，建立病理全切片图像检索框架及辅助诊断模型，消除染色差异化对图像质量的影响，实现大规模多种类全切片的准确高效检索。本研究是智能医学信息处理和医工交叉领域的基础性和前沿问题，研究成果对创新全切片分析技术和提高我国辅助病理诊断水平具有重要的理论意义和应用价值。

病理全切片图像在临床病理诊断中的广泛使用和人工智能技术的迅猛发展为探索计算机辅助病理诊断提供了新的机遇。本研究从病理医生临床诊断实际需求出发，以数字病理全切片为数据基础，利用病理学诊断知识和深度学习技术，研究了病理图像染色标准化、病理图像特征提取和病理全切片检索理论与方法，取得了面向计算机辅助病理诊断应用的研究成果，包括基于低秩嵌入非负矩阵分解的病理图像染色标准化方法、基于图卷积网络的病理图像特征提取方法、基于全局和局部注意力机制的弱监督病理图像特征提取方法、基于多尺度特征融合和通道交叉注意力的病理图像特征提取方法、基于位置感知图的病理全切片诊断相关区域检索方法、基于诊断区域注意力网络的病理全切片检索方法、基于双 Transformer 结构的多模态病理全切片检索方法、基于病变类别感知的病理对比学习的特征提取方法、基于核注意力 Transformer 的病理图像特征提取方法、两阶段弱监督病理图像表征学习方法和基于多注意力融合的病理图像特征提取方法等，构建了基于卷积神经网络、图卷积网络、注意力机制、Transformer、弱监督学习和自监督学习等理论的病理图像分析框架，在宫颈癌、胃癌和肺癌等典型癌症数字病理数据集和国际公开病理全切片数据集上验证了本研究所提方法在病理图像染色标准化、特征提取、分类和检索等应用上具有较优性能。期间发表高水平论文14篇（期刊论文5篇，会议论文9篇），申请国家发明专利 10 项（授权7项，实审3项），申请软著5项（均已授权），培养硕士生4名（毕业2名，在读2名），获省级及以上专业竞赛奖项7项，省级及以上大创项目3项。同时与国内数字病理知名企业麦克奥迪（厦门）医疗大数据有限公司开展产学研合作，研发了面向多病理亚种的病理全切片检索及自动分析软件，辅助医生进行病理诊断。本研究是智能医学信息处理和医工交叉领域的基础性和前沿问题，研究成果对创新全切片分析技术和提高我国辅助病理诊断水平具有重要的理论意义和应用价值。