基于生成式对抗网络的超声视频超分辨率快速重建新方法研究

Image resolution is the core parameter of medical ultrasound devices, and is also the key to precise medicine. Chinese local manufacturers normally sacrifice the image quality for the lower cost, thus they face difficulties to directly compete with global top players, which has negative impacts on the technological innovation and industrial development of our medical devices industry.. The project aims to study the key scientific problems in ultrasound video super-resolution reconstruction based on the novel deep learning theory. Firstly, an ultrasound transducer imaging model is built to simulate the ultrasonic signal acquisition and imaging process. Then, by combining the prior distribution of ultrasonic images, the construction method of a new deep learning model – the conditional generative adversarial network is studied. Further, the deep feature fusion theory is developed and applied in ultrasonic video sequences. The algorithm will be also integrated into the adversarial network. Lastly, a fast end-to-end reconstruction algorithm is designed and optimized on the simulation, phantom and clinical experiments to propose a real-time, stable and generalized ultrasound video super-resolution reconstruction method and system.. The project is expected to heavily improve the image quality of low-end ultrasonic devices without increasing the hardware cost. It will provide the theoretic foundation, methodology innovation and technical breakthrough for local ultrasonic devices.

图像分辨率是医学超声仪器的核心指标，也是临床超声精准诊疗的关键。部分国产超声仪器由于考虑硬件成本而降低了图像质量，难以与进口高档仪器竞争，影响着我国医疗器械的技术创新和产业发展。.本项目拟基于新颖的深度学习理论，研究超声视频超分辨率重建中的关键科学问题。先研究超声成像探头模型，仿真超声信号采集与成像过程；然后结合超声图像先验分布，研究新型深度学习模型--条件生成式对抗网络结构的构建方法；接着研究超声序列深度特征级融合的理论与算法，并整合入对抗网络；最后进一步研究端对端视频快速重建算法，在仿真、仿体和临床实验平台上优化算法和网络结构，以提出实时稳定可推广的医学超声视频超分辨率重建的方法与系统。.本项目在基本不增加硬件成本的基础上，有望大幅提高低档台式和便携式超声仪器的图像质量，可以为国产低档超声仪器的高质量视频获取提供理论依据、方法创新和技术突破。

本项目通过深入分析多种因素导致的医学超声系统成像低质量问题，提出了基于深度学习的高性价比、高鲁棒性、高泛化能力的高质量医学超声成像方法，具有重要的理论意义和应用前景。.项目围绕平面波超声图像的超分辨率重建方法、基于深度学习的便携超声图像高质量重建方法、基于深度学习的便携超声视频的高质量重建方法三个方面开展研究工作，取得的主要研究成果有：先后提出了基于多尺度卷积神经网络的平面波超声图像超分辨率重建方法、包含maxout单元的多角度U-Net并行结构和新损失函数的平面波超声图像重建方法、基于多通道多尺度卷积神经网络的平面波超声图像重建方法，提升了平面波超声图像的时间和空间分辨率；先后提出了基于生成对抗网络(GAN)的便携超声图像重建方法、基于transfer-GAN网络的单帧平面波图像的标准化方法、基于低秩表达GAN的便携超声图像高质量重建方法，提升了超声图像的空间分辨率；研究了基于深度学习的便携超声视频的高质量重建方法，提出基于相邻帧动态信息深度融合的多通路生成对抗网络，实现了便携超声视频的高质量重建，并进一步针对现有自适应超声波束形成方法获取高质量超声图像时计算复杂度高的问题，通过改进医学超声系统中的波束形成模块，提出了基于多约束混合生成对抗网络的高时空分辨率波束形成方法。以上方法得到计算机仿真实验、仿体实验和在体研究的验证。.项目发表了标注基金号的期刊论文21篇(含在IEEE系列期刊发表论文7篇)，均被SCI检索，其中14篇同时被EI检索。项目执行期间，项目负责人共培养了学位论文与本项目研究内容相关的博士生2名、硕士生2名。.项目研究的医学超声图像和视频的超分辨率重建方法已发表相应的学术期刊论文，部分实时性好的方法有望应用于便携式超声成像仪器中，对于医学超声成像方法与技术的发展具有重要的理论和应用价值。