基于混合弱监督深度学习的超声影像多组织结构识别与分割方法研究

Precise ultrasound diagnosis is based on not only information from lesion itself, but also information from surrounding tissues close to the lesion such as echo and locations. The existing algorithms focus on single viscera or single lesion, which do not obtain the information of various structures in the image. .Our project aims to study the key scientific problems in detecting and segmenting multi-organ in ultrasound image based on the novel deep learning theory. Firstly, the mixed weakly supervised learning theory is developed and a new mixed weakly-labeling manner is proposed. Then, by combining low level and high level semantic features in ultrasound video sequences, a new feature extraction and fusion algorithm is developed to construct a multi-organ unified framework. Furthermore, a new multi-layer and multi-scale regional convolutional neural network is constructed to segment the lesion and peripheral tissue simultaneously. Lastly, the network structure and parameters are optimized on the simulation, phantom and clinical experiments to propose a real-time, stable and generalized ultrasound multi-organ detection and segmentation method..The project is expected to provide a theoretic foundation, methodology innovation and technical breakthrough for artificial intelligence-based method to realize higher level ultrasonic image understanding, which can improve the accuracy of early screening, precise diagnosis and prognosis in ultrasound image. Our study has great scientific significance and clinical value to achieve the leap of artificial intelligence in medical image analysis.

医学超声诊断需要观察病灶与周边组织的回声、位置以及二者间的相互关系才能作出精准的结论。而现有算法大多针对单脏器或单病灶，无法同时获得图像中各种组织结构的信息。.本项目拟基于新颖的深度学习理论，研究超声影像多组织结构识别与分割中的关键科学问题。首先发展混合弱监督学习理论，研究基于超声视频的混合弱标注方法；然后提出超声视频中多层次语义特征表示和融合方法，建立表征多组织结构的统一框架；接着设计新颖的多层多尺度区域卷积神经网络模型，同时实现病灶组织的精确分割和周围组织的识别；最后，通过仿真、仿体和临床实验平台优化算法和网络结构，建立快速稳定可推广的算法，满足临床精准诊断需求。.本项目为基于人工智能实现更高层次的超声影像理解提供新思路和新方法，可以提高基于超声影像的疾病早期筛查、精准诊断和预后预测的准确率，对实现人工智能技术在医学影像分析中的应用具有重要的科学意义和临床价值。

本项目拟通过深入研究深度学习理论的新方法，构建混合弱监督学习模型，提出超声视频中多层次语义特征表示方法，设计新型深度学习网络结构和优化算法，同时实现病灶组织的精确分割和周围组织的识别与粗糙分割。.主要研究成果包括五部分：1）首先，提出一个适用于不配对超声图像域迁移方法来获得灰度分布统一超声图像数据集，降低对训练数据集的要求，并增强后续分割模型的泛化性。2）提出基于联合训练网络的超声图像肿瘤定位新方法，该方法可以利用超声图像中肿瘤附近的假前景区域作为空间先验约束，以提高对小肿瘤和模糊肿瘤的定位能力。为了提升训练网络的特征表达能力和噪声抑制能力，在网络中引入了一个注意力机制模块，以筛选出图像中通道和空间维度下对分类有意义的特征。获得的准确检测框有望作为弱监督信息，用于后续检测和分割任务。3）提出迭代弱监督算法，在缺少像素级标注的弱监督条件下，将定位信息得到的初始标签通过迭代训练转化为最终的分割结果，以此完成超声图像中肿瘤的弱监督分割任务。4）进一步提出基于对抗学习的弱监督算法，融合超像素思想降低迭代训练时间，在提升网络训练效率的前提下完成超声图像中肿瘤的精准分割任务。5）提出了多维级联网络的多组织协同分割算法，采用了一个浅层增强的定位网络从降采样的图像中提取完整的语义特征，以进行器官的定位和粗分割。然后对降采样图像融合，获得最终精确的分割结果，以弥补在第一阶段下采样过程中丢失的细节信息。上述方法在仿真和临床数据上验证，获得优异的结果，满足临床精准诊断需求。.本项目为基于人工智能实现更高层次的超声影像理解提供新思路和新方法，可以提高基于超声影像的疾病早期筛查、精准诊断和预后预测的准确率，对实现人工智能技术在医学影像分析中的应用具有重要的科学意义和临床价值。