多光谱眼底分层图像多模态异组织分析关键技术研究

Vision is our dominant sense and visual impairment is commonly caused by retinal diseases. As a revolutionary and innovative retinal disease diagnostic tool, Multi-Spectral Imaging (MSI) technology creates a series of en face fundus spectral sections throughout the thickness of the retina in a non-contact and high-resolution fashion. However, technologies for automated and quantitative analysis of MSI images are currently far from enough due to the difficulties caused by the multi-modality and tissue-heterogeneity in retinal MSI Images, leading to a bottle-neck in MSI based clinical research. This project aims to define a general formulation for MSI images’ fusion, and based on which, develop theories and algorithms for denoising, bias correction, registration, segmentation and fusion of retinal MSI images, plus various CAD (computer aided diagnosis) systems of retinal disease by using MSI. We plan to research on multi-modal similarity measurements between MSI images and a 3-dimensional Markov Random Field for retinal MSI. In addition, we will resolve the technical difficulties (caused by the multi-modality and tissue-heterogeneity of retinal MSI) in retinal MSI image analysis via various technologies including image sparsity, deep learning, non-convex optimization, group-wise registration and graph-cut, with an ultimate purpose of achieving automated, quantitative and precise analysis of retinal MSI images for retinal disease diagnosis. As two main novelties of our project, we will provide solutions for analysis of retinal images from MSI - a brand-new imaging technology and offer theories and algorithms for analyzing the multi-modality and tissue-heterogeneity in retinal MSI.

视觉是人最重要的感觉，而眼底病属于最普遍的视觉障碍疾病。多光谱眼底分层成像是近期发明的非接触、高分辨率眼底冠状面成像技术，被看做眼底病诊断变革性新方式。然而，眼底多光谱图像具有多模态异组织特性，其自动量化分析是一个科研难题，目前仍然缺乏相关的成熟技术，已成为其临床应用的主要瓶颈。本项目拟定义多光谱眼底图像光谱融合通用范式，研究去噪、偏场估计、配准、分割、融合等一系列多光谱眼底图像分析理论和算法，建立基于多光谱成像的眼底病辅助诊断系统。项目拟以眼底图像多模态相似度研究为突破口，构建眼底多光谱三维马尔科夫随机场，采用稀疏表达、深度学习、非凸优化、分组配准等技术，解决多模态异组织图像分析难题，达到面向眼底病临床诊断的眼底多光谱图像自动、量化、精确分析的目标。作为主要的创新点，本项目将提出一系列多模态异组织图像分析模型、理论和算法，解决多光谱眼底成像这一新成像方式所面临的图像分析难题。

项目以眼底图像多模态相似度研究为突破口，采用稀疏表达、深度学习、非凸优化、分组配准等技术，解决多模态异组织图像分析难题，达到面向眼底病临床诊断的眼底多光谱图像自动、量化、精确分析的目标。项目执行过程中，项目组成员制定详细的项目计划，采用深度学习模型，并结合多光谱图像处理技术和三维随机场模型，对眼底多光谱图像进行表达和分析。.项目取得一系列重要成果，项目负责人以第一完成人身份获山东省科技进步一等奖1项；在IEEE TPAMI、IEEE TIP、IEEE TNNLS等期刊或IPMI、AAAI等知名会议上共发表学术论文40篇；授权发明专利20件；获山东省重大基础研究项目1项。项目支撑项目负责人郑元杰获聘山东省人民政府泰山学者特聘教授；项目组培养博士研究生共9名、硕士研究生45名。.本项目产生的标志性成果包括：（1）结合马尔可夫随机场和高斯随机场等方法，对眼底多光谱图像进行三维随机场表达，得到了眼底多光谱图像的空间结构信息和分布规律；（2）基于传统影像配准技术中采用双向对称约束优于简单单向变换的事实，首次提出影像对称配准对抗生成网络框架模型SymReg-GAN，率先采用对抗生成深度学习网络模型解决多模态/单模态影像对称配准问题。实验结果显示，配准速度提高了35倍，配准误差降低了22.9%。相关成果发表在IEEE TPAMI期刊上（负责人为第一作者）；（3）提出序列图像组配准网路模型DGR-Net，首次采用深度学习网络实现图像组匹配，为医生提供了多幅影像间开展比对的临床研究和应用工具。实验结果证明，配准精度比传统标准工具ANTs-SyN的0.877高出了10.72%。相关成果发表在IEEE TIP上（负责人为通讯作者）；（4）本项目支撑的“医学影像智能分析关键技术及应用”，获批山东省科技进步一等奖。.项目相关核心科技成果成功推广应用至山东省立医院等22家个省内外三级甲等医院和基层医院，助力健康扶贫和乡村振兴，取得了显著的社会效益。同时，相关技术被集成到济南医影等7家高新技术企业，显著提高了相关产品的分析精度和运行速度，取得了显著的经济效益。