基于空间约束和特征描述的胸腹部医学图像非刚性配准与融合方法

Thoracic and abdominal medical image non-rigid registration and fusion play important role in many medical applications, such as diagnostic task, image-guided interventions navigation and follow-up treatment for lung cancer, gastric cancer and liver cancer. However, accurate and efficient thoracic and abdominal medical image non-rigid registration and fusion are highly challenging because of intensity variations and non-rigid transformations between images. Firstly, by using heart rate and breathing movement statistical model as spatial constraint, the method for estimating the initial deformation based on sparse representation will be proposed to realize accurate and efficient thoracic and abdominal 4D CT image non-rigid registration. Secondly, the similarity metric with multi-scale Weber local descriptor constraint will be constructed by combining with the weight structure similarity, and the accurate and efficient thoracic and abdominal 3D CT-MRI image non-rigid registration method will be proposed by using the hybrid optimization method. Thirdly, the similarity metric and spatial constraint based on foveated modality independent neighborhood descriptor will be proposed to implement the accurate and efficient thoracic and abdominal 3D MRI-US image non-rigid registration. At last, according to the image self similarity and inter images structure correlation, the image fusion method with high resolution and complete feature information will be proposed with fusion rules based on local energy non-logic. The research results are helpful for the development and clinical application of thoracic and abdominal medical image non-rigid registration and fusion.

胸腹部医学图像非刚性配准与融合在肺癌、胃癌和肝癌等疾病诊断、手术引导和治疗跟踪等方面具有重要价值。由于涉及形变参数多且图像间灰度差异大，如何实现精确、高效的胸腹部医学图像非刚性配准和融合已成为一个极具挑战的课题。本项目研究利用心跳和呼吸运动统计模型作为空间约束，提出基于稀疏表示的初始形变参数预测方法进行胸腹部4D CT 图像的非刚性配准；提出整合权重结构相似性和多尺度韦伯局部特征描述的相似性测度，采用混合优化方法实现胸腹部3D CT-MRI 图像非刚性配准；提出基于中央凹非局部自相似的模态独立邻域多尺度特征描述算子的相似性测度和空间约束方法以实现胸腹部3D MRI-US 图像非刚性配准；依据图像内部自相似性和图像之间的结构相关度，设计基于局部能量非逻辑运算的融合规则，实现清晰度高和特征信息完整的胸腹部多模图像融合。本项目的研究成果将为胸腹部医学图像非刚性配准与融合方法的发展提供新的思路。

医学图像非刚性配准与融合在疾病诊断、手术引导和治疗跟踪等方面具有重要价值。本项目主要研究精确高效的胸腹部医学图像非刚性配准和融合方法。为解决相似性测度难以构造以及形变参数多的问题，提出基于中央凹非局部自相似的非刚性多模3D医学图像配准方法。该方法设计基于中央凹非局部自相似的模态独立邻域描述子及其相似性测度，并把能量函数约束在更需要进行局部非刚性形变的部分，实现精准高效的非刚性多模3D医学图像配准。为避免模型训练依赖过多医学图像标注样本的问题，提出联合分割与配准自训练方法。该方法在few-shot场景下，相比单独训练的SOTA模型，实现了分割和配准精度同步提高，特别是显著提升了腹部大变形配准效果。针对多尺度变换融合方法的缺陷，提出双尺度自适应零学习医学图像融合方法，该方法先设计自适应引导滤波器以避免边缘模糊和伪影现象，然后利用预训练模型对基础层提取特征，实现零学习的权重图生成并重构得到融合图像。该方法在主观视觉评价和客观指标上都比主流的医学图像融合方法有着更优越的表现。针对模态间域偏移现象和合成数据质量较差的问题，提出双注意力机制可学习数据增广无监督多模态医学图像分割方法，加强特征上下文信息和全局语义依赖关系。该方法可减小模态间的域偏移现象，并能合成反映结构细微变化的医学图像，为实现无监督多模医学图像分割提供新思路。为了充分利用未标记数据，提出具有不确定自感知伪标签和一致性的半监督医学图像分割自集成方法，该方法基于一致性的正则化和伪标签进行训练，并利用学生和教师模型的预测值之间的KL方差作为不确定性评估去修正噪声伪标签学习。在左心房数据集上的实验结果表明该方法可以有效提高分割效果。此外，本项目对多模态医学图像配准和融合相关的研究内容和应用领域进行了一定的拓展，在图像模态转换和疾病诊断等方面也取得了一定的成果。这些研究成果为胸腹部医学图像非刚性配准与融合方法以及相关应用领域的发展提供了新的思路。