智慧医疗情境下基于多模态跨界融合的全景式智能决策方法研究

The data-driven smart healthcare system has emerged as an important technical carrier and driving force of future healthcare systems, ranging from disease inquiry to triage, diagnosis and treatment. Smart healthcare exhibits new demands in data management and decision-making, which inspire the fast development of open data services and a new wave of industrial transformation..In this project, we propose a big-data-driven panoramic PAGE (paradigm、analytics、governance、enabling) management decision framework to systematically study interactive decision-making and multi-modal based cross-border data fusion in smart healthcare systems. We propose novels methods to enable effective entity annotation, relation extraction and multimodal fusion and study the intelligent decision-making engines based on knowledge map, CNN, LSTM and multi-modal deep learning. We then establish a panoramic intelligent decision mechanism that covers the whole process of disease inquiry, triage, diagnosis and treatment. We study the system architecture that exploits intelligent engine and resource reflection interoperability to support decision making in smart healthcare systems. We verify the effectiveness of the proposed framework using the Winning Smart Healthcare Big Data Platform. .This project provides new insights to solve problems of cross-border association mining, multi-modal fusion and panoramic intelligent decision-making under the context of smart healthcare. It helps to harden the theoretical foundation of big-data-driven healthcare management and decision-making, which provides useful guidelines for future theoretical as well as practical studies.

大数据驱动的智慧医疗系统正在成为问诊、分诊、诊断、治疗等就医全流程的重要技术载体和推动力，智慧医疗情境下管理与决策导向的开放式数据服务创新也正在掀起新一轮产业变革。本项目应用大数据驱动的全景式PAGE管理决策框架，系统研究智慧医疗情境下基于多模态跨界融合的全景交互决策方法。研究考虑智慧医疗实体标注、关系抽取及多模态融合方法，设计基于知识图谱、CNN、LSTM、多模态深度学习的智能决策引擎，建立覆盖问诊、分诊、诊断、治疗等就医全流程的全景式智能决策机制，研究基于智能引擎和资源反射互操作的开放式智慧医疗决策支持系统架构，并以卫宁健康智慧医疗大数据平台为案例，对所提出方法的有效性进行综合验证。通过本项目的研究，为解决智慧医疗情境下跨界关联挖掘、多模融合与全景式智能决策问题提供新的方式和途径，也有助于丰富和深化大数据驱动的医疗健康管理与决策的理论研究体系，具有重要的理论意义和实用价值。

大数据驱动的智慧医疗系统正在成为问诊、分诊、诊断、治疗等就医全流程的重要技术载体和推动力。本项目按照基础理论研究、应用基础研究、重大实践研究逐级推进的科学探索路径，综合运用管理科学、信息科学、医学科学等多学科交叉融合研究方法，系统研究了智慧医疗情境下基于多模态跨界融合的全景式智能决策问题。具体研究工作包括：① 医疗健康大数据的跨域治理与知识服务方法；② 大数据驱动的医疗健康多模态融合推理方法；③ 大数据驱动的医疗健康智能化辅助决策方法；④ 重大工程管理系统研制及应用。项目团队先后获2019年教育部科学技术进步奖一等奖和医学影像国际顶会24th MICCAI“手术行为三元组识别”挑战赛国际季军。相关学术成果发表在大数据领域国际顶级期刊《IEEE Transactions on Knowledge and Data Engineering》和《ACM Transactions on Knowledge Discovery from Data》、以及《Information Sciences》、《IEEE Transactions on Systems Man, and, Cybernetics: Systems》、《管理科学学报》、《管理世界》、《中国管理科学》等国内外重要学术期刊；申请国家发明专利12项，其中授权国家发明专利8项；培养青年骨干教师6人，支持了10名博士研究生和16名硕士研究生开展研究工作。本项目的研究为解决智慧医疗情境下医疗健康大数据的数据治理、知识服务、多模态融合以及智能化助决策提供了新的路径，有助于推动智慧医疗多模态跨界融合智能决策方法在微创医疗、疫情防控、海员健康等领域的重大工程管理系统研制及应用。在科技助力疫情防控方面的工作被教育部官网和新华社报道，具有重要的理论意义和实际价值。