基于影像组学异构多模态数据的深度迁移学习混合模型方法研究

Modeling and analysis of heterogeneous & multimodal data of radiomics in medical big data is the key and difficult topic in the study of statistical methodology, traditional methods represented by shallow structure networks have been unable to describe and characterize the complex relationship of radiomics data. Our previous studies have found that fusion method of nonparametric multiple imputation based on SVR, multivariate longitudinal data modeling method and current machine learning methods could provide some new approaches and reference for solving existing problems. Therefore, this study proposed the mixed model of convolutional neural networks-deep Boltzmann machine transfer learning (CNNDBM-TL) to modeling analysis (liver) heterogeneous & multimodal data of radiomics, to explore the fusion and classification of high-dimensional nonlinear features for different structure image and text data; And through the validation of data set for different diseases, we will confirm the reliability, validity and robustness of the mixed model, and set up the new modeling analysis strategies of radiomics heterogeneous & multimodal data based on the different structure imaging images, different modal form, different model method, and different analysis purposes, and so on. The successful implementation of the project will have obvious promoting role for solving some analysis puzzles of the radiomics heterogeneous & multimodal data and developing new technology of artificial intelligence (deep, transfer learning), will also promote the development of tumor individualization and precision medicine, and have the important theory value and practice guidance in the development of statistics.

医疗大数据中影像组学异构多模态数据的建模与分析是统计学研究中的重难点，以浅层结构网络为代表的传统方法已不能对其复杂的结构关系进行描述和刻画；我们前期研究发现基于的SVR非参多重填补融合方法、多元纵向数据联合建模方法和当前机器学习方法有望对目前存在问题的解决提供一些新的途径和借鉴。本研究提出卷积神经网络深度波尔茨曼机迁移学习混合模型(CNNDBM-TL)对(肝病)影像组学异构多模态数据进行建模分析，探讨不同结构图像和文本数据高维非线性特征的融合和识别分类；并通过对不同疾病数据集的验证，证实该模型的可靠性、有效性和鲁棒性，建立在不同结构影像图像、不同模态形式、不同模型方法和不同分析目的等情况下影像组学数据的建模分析新策略。本项目将对解决影像组学异构多模态数据分析难题及发展人工智能新技术产生明显的促进作用，也将促进肿瘤个体化和精准治疗的发展, 对统计学的发展也有重要的理论价值和实践指导作用。

研究背景和目的：在医疗大数据时代，目标检测、图像分类和图像分割等医学图像自动分析技术，在临床疾病诊治中发挥了重要作用。影像组学是融合大数据与医学影像辅助诊断的新技术，但海量的影像组学异构化数据应用是临床面临的巨大挑战。充分利用结构化和非结构化数据对于精准诊治较为重要，存在较高的应用价值。.研究内容和方法：首先，分析了影像组学异构多模态数据收集及其综合特性。其次，开展了深度迁移学习混合模型及其改良或创新模型的建模研究。再次，研究了影像组学异构多模态数据的特征融合及其识别分类。最后，评估了影像组学异构多模态数据建模分析策略的构建与应用。本项目的研究进展可分为影像分析、影像组学和领域推广等三方面。.研究结果和成果：（1）在影像分析研究中，依次开展了小目标多维度的图像分割研究、多模态多尺度的图像分割研究和小样本自监督的图像分类研究，构建了深度迁移学习方法（CSSTL、MAPR-Net、E-DU、MMOC-Net、MBST-Net、MMAE-Net）并开发了应用系统，为医学分割提供了有效解决方案。（2）在影像组学研究中，创新性地构建了深度迁移学习多模态融合算法（SUDFNN、SUDFX、OEDL），在诊断预测和预后预测中取得了较好的应用效果。我们的方法有利于优化临床早期干预流程，为个性化治疗提供必要的临床决策支持，为构建影像组学建模分析策略提供了坚实的理论依据和应用参考。（3）在领域推广研究中，将深度学习、迁移学习和集成学习等新兴机器学习方法综合运用于临床疾病预测和公卫预防研究中，为疾病诊治提供了实用解决方案。（4）应用成果：本项目已发表SCI论文10篇（Top期刊3篇）、中文14篇、国家级竞赛奖项16项、软著专利6项。.研究意义和展望：本项目立足于影像分析、影像组学和领域推广等三方面，基于深度学习迁移学习的理念，针对小目标多维度、多模态多尺度、小样本自监督等挑战，创新性地构建了一整套方法体系，本项目还积极进行成果转化，开发了一系列各类用途的可视化系统平台，可为临床诊治提供有效决策支持。