心脏运动模型估计中的深度学习形状匹配方法研究

Quantifying the movement of cardiac anatomical structure using cardiac image analysis plays an important role in diagnosis and treatment of heart diseases. The project will estimate motion of left and right ventricular for cardiac MR image sequences to provide quantitative indices for clinical diagnosis of heart diseases. Specifically, LV and RV contour is extracted based on deep learning. The training data is augmented by constructing LV and RV shape models using a small amount of samples. The cardiac shape constraint is introduced into the objective function of deep learning network to learn to outline the LV and RV contours by using the augmented training data. Graph matching (GM) is introduced into the deep learning network to take advantage of structural matching in GM. A cardiac graph describing the anatomical structure of the heart is constructed based on the extracted contours of LV and RV, and a convex GM objective function is constructed to describe the correspondence between the vertices and the correspondence between edges. Furthermore, the GM model is embedded into the deep learning network to estimate the correspondences between the cardiac anatomical structures at different time points. Next, a robust and stable transformation model is constructed based on the correspondences. The corresponding relationship between images is updated based on the deformation field and the deformation field is updated based on correspondences alternatively to estimate cardiac motion. The research results of this project will quantify cardiac anatomical structure and movement characteristics and effectively assist clinicians in diagnosing heart diseases.

心脏运动量化在心脏疾病诊断与制定治疗方案中具有重要作用。本项目将研究针对心脏MR成像序列的左右心室运动模型估计，以提供临床诊断的定量分析指标。具体地，研究基于深度学习的LV、RV轮廓提取方法，通过构建心脏LV和RV形状模型，利用少量训练样本生成大量标定数据进行网络训练，同时在网络学习的目标函数中引入心脏形状约束，对训练数据进行泛化学习，以勾勒LV、RV轮廓；将图匹配方法的结构约束引入深度学习网络中，在提取的轮廓上构造描述心脏解剖结构特征的图结构，定义同时描述点间对应关系和连接边之间对应关系的凸的图匹配目标函数，进一步将该图匹配模型嵌入到深度学习网络中，得到不同时间点心脏解剖结构之间的顶点对应关系；根据当前对应关系构建鲁棒、稳定的形变模型，并迭代求解对应关系和形变场，以完成心脏运动估计。本项目研究成果可以对心脏解剖结构及运动特征进行量化，有效辅助临床医生准确诊断心脏疾病。

心脏成像自动分析是辅助心脏疾病诊疗的重要手段。本项目研究了基于深度学习形状匹配的心脏运动模型估计，针对心脏LV和RV构建了统计形状模型，包括形状先验分布模型、卷积玻尔兹曼机（CDBM）形状模型、形状轮廓模型等，根据形状模型提出了一种数据增强方法；利用形状约束对网络进行训练，包括联合分割与配准的分割网络，CDBM约束的半监督学习网络、压缩卷积网络等，提高了LV和RV的分割预测精度。把形状模型作为先验分布引入到变分推断模型中，通过变分自编码器估计预测结果的分布，可以实现半监督学习心脏目标分割；提出了凸图匹配目标函数及求解算法，将深度学习网络提取的图像特征结合到图匹配模型中，将具有稀疏约束的空间变换引入图匹配模型，解决了目标运动造成的轮廓、强度变化大的问题。构建Siamese卷积网络以及学习稀疏表示的自适应字典以实现心肌轮廓点跟踪，可计算心脏周向应变以评估心肌功能；研究了多支撑RKHS空间形变模型及其扭曲能量，并给出了求解算法。在该模型的基础上，首次将径向基函数形变模型与变分生成模型结合，创新性地提出了自适应控制点分布和变分损失函数，构建了概率图像配准模型，可以对图像配准的不确定性进行分析；另外，研究了基于深度分解架构的非负矩阵分解的图像特征表示方法，可以有效地描述图像特征。研究了一种性能模型估计在GPU上运行的大规模并行程序的执行时间，实现了海量控制点跟踪。.本项目提出的方法可以使LV、RV分割的DICE指标分别提高0.5~3%和1%~1.8%，LV、RV平均轮廓分别减小1mm和3mm，在儿童病例数据集的跟踪DICE精度提高14%，配准精度提高1%~2%，在P100GPU上控制点的跟踪效率加速比超过800x。 .本项目的研究成果可以提供心脏在结构上和功能上的量化指标，如心室容积、射血分数、质量、心肌壁厚度以及心肌应变等结构指标，实现对大批量心脏影像的自动分析，完成心脏成像的定量分析、数据驱动的精细模型构建，深刻理解心血管疾病的机制和特征，辅助临床医生诊疗。