基于卷积神经网络和马尔可夫多特征随机场的脑部MR图像结构分割研究

Segmentation of brain structures in magnetic resonance (MR) images plays an important role in clinical diagnosis and scientific research. It is the difficult point in medical image processing to accurately realize the segmentation of brain structures in MR images, and it is also a hotspot in the cross research of medicine, mathematics, and computer. In this project, we try to construct a unified segmentation framework by effectively combing convolutional neural networks (CNN) and Markov multiple feature random fields (MMFRF) for considering the diversity, complex, and fuzzy edge of brain structures to achieve accurate structure segmentation. The research mainly includes: (1) We will implement the comprehensive feature extraction of the brain structures by designing a robust multi-scale CNN architecture and efficient loss function; (2) We will try to construct the MMFRF model for brain structures, study the properties and constraints of the model, and establish a fast model parameter estimation algorithm; (3) To realize the collaborative drive of data and knowledge, we will study the encoding mechanism of deep features extracted by the CNN in MMFRF model, and finally establish a unified brain structure segmentation framework based on the MMFRF-CNN. This study has important theoretical and practical significance in enriching the brain structure segmentation and promoting the development of computer aided diagnosis (CAD) of brain diseases.

脑部MR图像结构分割在临床诊断和科学研究中发挥着重要作用。如何精确地实现脑部MR图像结构分割是医学图像处理方面的重点和难点，也是医学、数学、计算机等多个学科交叉研究的热点问题。本申请项目针对脑部结构多样、复杂、边缘模糊等特性而难以实现精确分割的问题，拟构建基于卷积神经网络（CNN）和马尔可夫多特征随机场（MMFRF）的数据和知识协同驱动的统一脑部结构分割模型。研究内容主要包括：设计健壮的多尺度CNN结构和构造高效的损失函数，实现脑部结构的全面特征提取；构造面向脑部结构的MMFRF模型理论，深入研究模型的性质、约束条件，建立快速的模型参数估计算法；研究MMFRF模型中面向脑部结构的深度特征编码机制，实现数据与知识的协同驱动，最终建立统一的基于MMFRF-CNN的脑部结构分割框架。本研究对丰富脑部结构分割方法及推动脑部疾病计算机辅助诊断发展具有重要的理论价值和实际意义。

脑部MR图像分割既是开展脑部MR图像分析、处理的关键技术，更是后续开展脑部疾病诊断的前提和保障。本项目主要采用卷积神经网络与随机场模型数据与知识联合驱动的方法深入开展脑部MR图像分割及相关应用研究。在自然科学基金的资助下，课题组围绕项目中的研究内容开展了深入研究，取得如下成果。一、脑部图像分割：1) 提出了一种新颖的马尔科夫多特征随机场(MMFRF)模型，并建立了基于MMFRF的3D脑部MR图像分割框架；2) 提出了一种基于3D残差网络(ERV-Net)的MR图像脑肿瘤分割算法，不仅在精度上超过了已有对比方法，还具有较高的计算效率和较低的GPU内存消耗；3) 提出了一种基于编码-解码卷积神经网络(ED-Net)的CT图像脑出血分割算法；4) 提出了一种基于多尺度特征融合网络(MFF-Net)的MR图像侧脑室分割算法。二、多尺度卷积神经网络结构建立及应用：5) 提出了一种基于嵌入式循环残差网络(ERR-Net)的OCT图像视网膜层边界分割算法；6) 提出了一种基于桥型网络(Bridge-net)的眼底图像视网膜血管分割算法；7) 提出了一种基于旋转等变多层特征聚合神经网络(REMFA-Net)的病理图像细胞核分割算法；8) 提出了一种基于自适应辅助损失深度监督网络(DSN-SAAL)的CT图像新冠肺炎辅助诊断算法。在项目的支持下，课题组还在病理图像腺体分割、皮肤镜图像皮损分割、高光谱遥感图像去噪与分类、生物疾病关联性预测等方面取得创新性成果。课题组在国内外学术期刊和会议上共发表学术论文18篇，其中SCI期刊论文13篇（包括中科院大类一区论文4篇、二区论文5篇），EI收录论文5篇，获得湖南省优秀硕士学位论文奖1项，圆满完成了项目的研究内容。这些成果为脑部MR图像分割及相关医学图像应用研究提供了新的方法和途径，具有较好的临床应用前景。