大数据驱动学习下超声成像系统标准扫查切面检测与组织结构定位研究

In the process of ultrasound scanning, in order to observe morphology and location of human tissues, physicians/doctors have to be based on some anatomical structures of human body surface and they can get different digital images with orientations of scan planes. Therefore, it’s a highly complicated task to identify and understand ultrasound scanning planes. This task not only needs professional training technical operating criterion of ultrasound doctors, but also becomes the core content of modern medical intelligent ultrasound imaging systems. The research brings enormous challenge, at the same time, problems from its related theory and technology have to be solved. This research is based on distribution characteristics of ultrasound speckle, and focuses on proposing a learning algorithm using Wasserstein generative adversarial networks in order to real-timely detect standard scan planes from ultrasound data and intelligently locate internal tissue structures and regions of human body. Under the architecture of generative adversarial networks， the main content of the research is as follows: 1). Synthesis of anatomical structures in human body tissues using distribution characteristics of ultrasound speckle; 2). Implementation of super-resolution reconstruction in ultrasound images under the guide of multi-modal imaging; 3). Detection and localization of saliency region in ultrasound images with fused anatomical information. The aim of this research is to guarantee the quality control of ultrasound diagnosis, to improve the intelligence of ultrasound imaging systems, to help the generalization and popularization of ultrasound examination devices.

在超声扫查过程中，为了观察人体组织的形态和位置，医生需以体表某些解剖为基准，获取各种不同方位的切面图像。因此，超声扫查切面的识别与理解是一项高度极其复杂的任务。这既是超声检查医师所必备的专业训练技术操作规范，又是现代医学超声成像系统智能化的核心内容。其研究带来了极大挑战性，同时相关的理论与技术难点需要解决。本项目以超声斑点分布特性为基础，构建基于Wasserstein距离的生成对抗网络(W-GANs)学习算法，从超声数据中实时检测出扫查切面图，并提供脏器组织结构区域的自动定位。在生成对抗网络架构下，主要研究内容：1).基于超声斑点分布特性的人体组织解剖结构合成；2).多模态成像引导下的超声图像超分辨率实现；3).融合解剖信息的超声图像显著性区域检测与定位。项目的开展确保超声诊断的质量控制，提升超声成像系统智能诊断水平，有利于超声检查设备推广与普及。

围绕大数据驱动学习模型在计算机辅助临床医学智能诊断上应用的关键技术，本项目以超声图像、皮肤镜/眼底图像、心电/脑电信号为主要数据来源，开展超声图像处理、皮肤/眼底病变分割、心脑疾病分类等若干问题研究，其模型框架推广于视频异常分析与生物特征识别，并研究无创冠脉CT血流储备分数计算方法的临床应用。主要研究工作为五个方面：1).以心血管内超声和胎儿超声等成像数据为研究对象，利用高斯混合模型、k-均值聚类等方法，描述局部先验形状结构信息，结合有条件生成对抗网络，实现IVUS序列图像的中-外膜、血管内腔等边缘检测；以UNet++神经网络结构为基础，融合边界框高置信度区域信息，获取超声胎儿头部图像特征，由头部区域概率图预测，输出胎儿头部语义分割的感兴趣区域与边缘关键点信息，采用曲线拟合方法，辅助测量胎儿不同发育阶段的头围大小，其方法充分利用上下文相关信息与局部定位功能；提出超分辨生成对抗网络和改进型循环生成对抗网络，用于超声质量的图像超分辨率重建与图像增强，改善血管内超声图像诊断视觉效果。2).以皮肤镜、眼底图像为研究对象，提出迭代多尺度上下文皮肤镜图像中的皮肤病变分割，利用上下文信息指导特征编码，解决皮肤镜图像区域分割的难点问题；提出基于区域分类引导的小波Y-Net神经网络，即小波变换与残差连接的Inception模块结合，该方法能够有效地规避视盘的影响，保留图像细节信息，提升硬渗出物(EX)的分割效果。3).以心电信号与脑电信号为研究对象，提出结合格拉姆和场/连续小波变换、注意力残差网络与生成对抗网络，实现心电信号有效分类与脑电信号的癫痫发作预测。结果表明，大数据驱动学习模型在临床医学辅助智能诊断中具有广泛应用前景。4).针对视频异常分析与生物特征识别，提出互监督学习、多编码器-单解码器、transformer与U-Net等三种算法的视频异常分析，有效地检测视频图像异常事件；提出一种多模态生物特征识别系统的混合融合模型，即改进的特征融合算法与加权投票策略。5).提出数值建模与机器学习相结合，实现无创冠脉CT血流储备分数计算方法在临床上应用，受到临床医学领域同行的关注。本项目的研究成果提供了机器学习方法在解决临床应用问题上有效方案与技术路线，为临床医学大数据分析与智能化辅助诊断提供了关键技术支撑。