基于视觉空间结构化学习的大脑磁共振图像配准算法研究

Brain magnetic resonance images usually have different sorts of characteristics such as: blur image boundary, uneven gray scale distribution, and non-rigid deformation, which pose great challenges for image registration tasks. Most existing methods share some common drawbacks. Some methods directly use voxel intensity for similarity metrics without the feature learning and partition mechanism. Other algorithms use model regression or spatial transformation networks for image interpolation and re-sampling based on deep learning architecture, thus lack of adaptive capability when facing large image deformation. To address these problems, this project proposes a brain magnetic resonance image registration method based on visual-spatial structured learning. Firstly, we propose to do medical image semantic segmentation based on local visual attention. It uses pixel-level network inference and visual attention coordination mechanism to obtain more stable and homogenous image description. Then, an image deformation algorithm with effective error propagation ability is studied based on deformable computing and multi-scale spatial embedding learning. Finally, by combining the appearance and topology information of visual elements in the image, a structured learning process is carried out, and the unsupervised brain magnetic resonance image registration method is proposed based on correspondence confidence updating technique. This project is expected to obtain a more efficient and robust image visual similarity metrics and spatial deformation model under the deep learning framework, thus enriching the theoretical basis of the magnetic resonance image registration community and providing technical support for intelligent diagnosis and treatment of brain diseases.

大脑磁共振图像一般具有边缘模糊、灰度分布不均、非刚性形变复杂等特点，给相应的图像配准任务带来了挑战。现有的方法要么直接利用体素强度进行相似性度量，没有开展规则化的特征学习与划分；要么基于深度架构进行模型回归，或者融入空间变换网络计算插值采样，缺乏自适应的图像形变能力。针对这些问题，本项目提出基于视觉空间结构化学习的大脑磁共振图像配准方法。首先，是基于局部注意力的医学组织语义划分，利用像素级网络推理与视觉注意力协同机制，得到更加稳定、同质化的图像描述；然后，是基于可变形计算的多尺度空间嵌入学习，研究具有高效误差传导能力的图像形变算法；最后，结合图像中视觉元素的外观与空间信息进行结构化学习，完成基于置信度更新的无监督大脑磁共振图像配准。本项目研究有望在深度架构下获得更加高效、鲁棒的图像视觉相似性度量与空间形变驱动模型，从而丰富大脑磁共振图像配准邻域的理论基础，为脑部疾病的智能诊疗提供技术支持。

大脑作为人类神经系统的中枢器官，是调节机体功能、产生高级智能行为的生理基础，其一旦出现病症，会对人类生命活动产生严重影响。因此，对于人类脑病的预防、检测及诊疗是当今生物、医学以及相关交叉学科的重点研究方向。图像配准作为医学影像智能分析与理解过程中的关键步骤，具有十分重要的研究意义。其基本目标是将源图像经过几何建模、变换后与目标图像进行对齐，从而获得不同医学图像中同一组织区域的匹配映射，以反映相应的生物医学特性。现有的方法要么直接利用体素强度进行相似性度量，没有开展规则化的特征学习与划分；要么基于深度架构进行模型回归，或者融入空间变换网络计算插值采样，缺乏自适应的图像形变能力。针对这些问题，本项目提出基于视觉空间结构化学习的大脑磁共振图像配准方法。首先，是基于局部注意力的医学组织语义划分，项目组通过研究，提出了基于多流特征主动融合变换的医学图像分割方法、基于交叉混合学习的半监督医学图像分割方法，分割结果精确度较现有方法提升了2%-5%，得到了更加稳定、同质化的图像描述；然后，是基于可变形计算的多尺度空间嵌入学习，项目组通过研究基于视觉元素多尺度空间分布的特征建模方法、基于多分支结构和协同学习的特征增强方法、旋转驱动的魔方卷积特征学习方法，其中多尺度空间建模特征较传统方法匹配准确率提升了3%左右，获得了具有高效误差传导能力的图像特征建模与表征算法；最后，结合图像中视觉元素的外观与空间信息进行结构化学习，项目组提出了基于多粒度先验评估的医学图像配准方法、基于语义结构多重感知的部分对部分配准方法、基于分离学习与累积增强的大脑MRI图像配准算法，配准结果在Mindboggle101脑数据集和IXI脑数据集上均高于已有方法1-4个百分点，完成了基于置信度更新的无监督大脑磁共振图像配准。本项目研究丰富了大脑磁共振图像配准邻域的理论基础，为脑部疾病的智能诊疗提供了技术支持。