基于生成对抗网络的数据增强算法及深度特征融合算法的肺CAD系统研究

This project investigate deep learning for lung CAD (Computer Aided Detection). First of all, given that medical images have problems with imbalanced positive and negative samples and insufficient annotation data, which limit the application of deep learning in this field, we propose a Boundary Equilibrium Conditional Generative Adversarial Networks (BE-CGAN) for medical image data augmentation. BE-CGAN can automatically generate samples in an unsupervised way, use annotated information as an additional condition to control the generative process, and balance the convergence of both generator and discriminator through a loss function. Secondly, considering that, different from natural images, lung CT images have spatial volume structure information and the VOI inter-layer information of nodules cannot be ignored, we propose a deep learning feature extraction algorithm for 3D volume data, which use 4D convolution filter representing height, width, thickness, and depth, respectively. The positional relationship between the nodule and the lung area is quantified as a positional feature, and then the manual design features of the 2D and 3D models are fused with the deep learning feature. Thirdly, we employ LASSO algorithm to screen the selected features. Finally, in order to take into account the multiple indicators of the evaluation, we apply a multi-objective optimization based on a global optimization homotopy algorithm and a multi-core support vector machine algorithm to perform benign and malignant lung nodule recognition.

本项目针对肺CAD与深度学习展开研究。首先，医学数据集存在正负类样本不均衡、注释数据不足的问题，这限制了深度学习在医学图像中的应用。针对医学图像的数据增强，提出一种基于边界平衡的条件式生成对抗网络算法，该算法可以在无监督体制下自动生成样本。将已标注信息作为附加条件控制生成模式。为了兼顾生成器与判别器之间的收敛，通过损失函数来获得二者之间的均衡。其次，肺CT图像不同于自然图像，具有空间体结构的信息，对于结节的VOI层间信息不能忽略。提出适用于3D体数据的深度学习特征提取算法，采用四维卷积滤波器，四个维度信息分别代表高度、宽度、厚度以及深度。将结节与肺区的位置关系量化为位置特征，然后将2D及3D模式的手工设计特征与深度学习特征融合。再次，对选取的特征通过LASSO算法进行特征筛选。最后，为兼顾评价的多个指标，采用基于全局寻优的同伦算法与多核支持向量机算法进行多目标优化，完成肺结节良恶性的识别。

本项目针对肺CAD系统与深度学习展开研究。首先，医学数据集存在正负类样本不均衡、注释数据不足的问题，这限制了深度学习在医学图像中的应用。其次，结节模态复杂，空间结构与位置信息的特征往往被忽略，导致易漏检。最后，肺结节识别方法难于做到多个指标兼顾。针对上述问题，本项目主要研究了肺CT医学图像数据的增强、深度特征与手工特征的选择与融合以及基于多目标优化的肺结节精准识别算法等几个主要研究内容。具体研究如下：. 1）数据增强算法设计：提出了一种ADT-GAN算法，可以生成与目标域相近分布的样本，实现了目标域数据不足情况下的数据增强。改进了CT-GAN的数据增强技术，以解决过拟合问题。. 2）特征提取与特征融合算法设计：构建了基于注意力机制的AE-VGG网络，可以提高网络的特征提取能力。进一步研究了手工特征与深度特征级联、基于典型相关分析（CCA）方法的深度特征融合算法，在最大程度上保存了信息的完整性及表达能力。. 3）多目标优化的肺结节精准识别算法设计：提出了系列的基于多目标优化的MKL-SVM算法，结合上述特征提取、特征融合、检测等技术，达到了较好的识别性能。. 4）“端到端”检测系统搭建：提出了基于注意力机制的CA-YOLO-V4检测框架，以精准捕获结节位置信息，提高检测精度，防止结节漏检。. 5）空间信息提取：提出了3D_ResNext_Bi-LSTM的网络框架用于三维特征提取并进行分类，提升对疾病的辅助诊断效果。. 6）结节分割算法设计：提出了一种增强边缘特征的肺结节分割多任务模型EU-Net，加强对肺结节病灶的边缘轮廓特征的有效利用。也研究了新近的TransUNet用于病灶分割。. 总体而言，项目组已经完成了肺CAD系统的数据增强、特征提取与特征融合、结节良恶性识别的关键算法设计。“端到端”检测系统的构建也已完成。在研究内容方面有所拓展，并新增了结节分割等方面的研究。项目实现了预期研究目标。研究具有科学意义及应用价值，可为实际的CAD系统提供理论依据与技术支持。