基于X光片影像智能识别脊柱侧弯椎体边界的深度学习模型及方法研究

Scoliosis represents the most common type of spinal deformity with prevalence as high as 3～4% found in the adolescent population of age 10～16. Imaging characteristics, e.g. the Cobb angle, in long-cassette spinal X-rays are instrumental in the diagnosis, evaluation, and surgical planning of patients with scoliosis. However, manual measurement of these parameters can be both time-consuming and unreliable in clinical practice. As shown by results from previous attempts using conventional machine learning and pattern recognition techniques, automated vertebrae detection was a challenging task due to low tissue contrast intrinsic to X-ray images, occlusion of the vertebral body by ribs, etc. In this study, we aim to propose a deep learning network architecture that can provide a fully automated framework for vertebral boundary recognition in long-cassette spinal X-rays. A combination of different techniques, including data amplification, model fine-tuning, etc., are utilized to improve on the state-of-the-art network model in order to mitigate the constraints of limited dataset size, weak label and high image noise. The optimized model may then facilitate accurate and robust vertebral boundary recognition and benefit the clinical workflow by providing a computer-aided decision-making tool for precise treatment-planning.

脊柱侧弯是最常见的脊柱畸形，青少年中最为高发，在10～16岁人群中发病率达3～4%。脊柱全长X光片上的影像学参数是脊柱侧弯诊断、评估、以及手术方案设计过程中的主要参考指标。这些指标的测量目前需要医生手动完成，而人工操作伴随着不可避免的人力资源消耗以及主观误差因素。以往研究中尝试用传统机器学习和模式识别算法进行椎体的自动化检测，但由于X光片成像条件限制（对比度较低、图像较模糊），以及椎体形态变异、肋骨遮挡等原因，算法识别效果不尽人意。本项目拟开发基于深度学习方法的网络模型，根据脊柱侧弯X光片影像数据“小样本、高噪声、弱标签”的特点，针对性地采用将数据增强、模型精调、引入专家知识库等方法相结合的综合性解决方案，提高网络模型的准确率和稳定性，实现X光片中脊柱侧弯椎体边界的自动化识别和检测，为进一步的影像学参数自动化测量奠定基础，最终实现脊柱侧弯的计算机辅助诊断评估及更精准的治疗。

脊柱侧弯是最常见的脊柱畸形，青少年中最为高发，在10~16岁人群中发病率达3~4%。脊柱全长X光片上的影像学参数是脊柱侧弯诊断、评估、以及手术方案设计过程中的主要参考指标。这些指标的测量目前需要医生手动完成，而人工操作伴随着不可避免的人力资源消耗以及主观误差因素。以往研究中尝试用传统机器学习和模式识别算法进行椎体的自动化检测，但由于X光片成像条件限制(对比度较低、图像较模糊)，以及椎体形态变异、肋骨遮挡等原因，算法识别效果不尽人意。本项目已完成内部开发数据集、多中心外部验证数据集和前瞻性真实世界验证数据集的构建，并完成了对全部数据的标准化格式人工标注。项目团队应用CNN在青少年特发性脊柱侧弯患者脊柱全长正位X线片上开发自动识别椎体关键标志点并输出Cobb角测量结果的算法模型。为解决X线片影像背景噪声对于关键标志点识别的影响，采用分两阶段的框架结构。首先检测每个椎体边界框以提供区域限制，然后使用带有增强模块的CNN在检测到的边界框上找到关键标志点，并设置合理的过滤模型去除冗余噪声，从而减小了Cobb角自动化测量的误差。项目团队提出了一种将图像分割和关键标志点信息结合，然后一次性识别全部胸腰椎椎体上下终板端点共68个关键标志点的自动化架构，并将68个关键标志点描述的脊柱曲度视为测量Cobb角的约束条件。针对脊柱全长正位X线片上部分椎体被胸廓和肩关节遮挡严重而造成的识别困难，项目团队基于多任务模型的思路，将分类、检测和关键标志点预测整合为一个框架，充分挖掘图像中各个层次的信息，提出了MPF-net模型。该模型通过特征融合模块同时利用正侧位X线片上的信息，在特征提取时共享权重。同时，在目标预测中，通过proposal correlation模块来利用相邻椎体之间的信息，使用目标结果之间的关联关系进行校正，提高准确率；将MPF-net与文献报道的其它方法对比，可见其性能提升非常明显。