三维交互式混合现实显微脑膜瘤切除手术精准规划/预演系统关键技术研究

With the enormous development in the field of science and technology, medical community has entered a new era of “precision surgery”, surgical techniques thus are in urgent need of a safe and low-cost precision planning method. Virtual surgery can achieve quantitative measurement of surgical parameters, real-time interaction and repeatable training, which are meaningful for optimal surgical pathology determination, allowing surgeons to perform the surgical rehearsal before the complex and difficult surgery, repeatedly attempt the surgical pathology and operation skills, after that put the optimal plan into practice. This project focuses on microscopic meningiomas surgery, which is of great complexity and high risk. We are motivated to provide a 3D interactive mixed reality microscopic environment for surgeons to“fly through” of a “patient-specific” anatomy, enhancing their perception of complex anatomic landmarks around the lesions. Further, a patient-specific operative intracranial anatomy and a high-fidelity bimanual haptic interface for neurosurgery are constructed for surgeons to perform the precision planning and grasp exquisite microsurgical skills of incision and dissection in an immersive environment. The proposed methodology and the set of techniques are anticipated to strengthen and compensate existing meningiomas microsurgical planning/rehersal paradigm and advance related VR/AR/MR research.

科学的进步和技术的革新将外科学带入精准外科时代，手术技术急需一种低成本、安全的精准规划方式。虚拟手术技术可以实现全量化、实时交互、反复操作以选择最优手术入路及切割面，这样外科医生在进行复杂、高难度手术之前可以先进行虚拟预演，反复斟酌真实手术的入路和操作要点，然后再将规划成果运用到真实手术中。本项目针对显微脑膜瘤切除这一复杂度高、危险性大的手术提供给医生三维交互式混合现实显微环境进行“漫游”，提升其对患者复杂的颅内病灶周围解剖结构的感知，同时可反复虚拟预演以实现术前精准规划，为神经外科医生提供个性化、全定量的颅内可操作性解剖结构以及高保真、沉浸式显微手术人机交互接口，使得神经外科医生可以在术前设计最优脑膜瘤切除方案同时熟悉患者颅内手术路径周边解剖结构，练习显微手术下操作技巧。本项目的开展有利于强化和弥补现有显微脑膜瘤切除手术规划以及预演的模式，同时推进虚拟现实/增强现实/混合现实研究的发展。

虚拟手术技术为精准外科提供了一种低成本、安全的规划方式，可以实现全量化、实时交互、反复操作以选择最优手术入路及切割面，这样外科医生在进行复杂、高难度手术之前可以先进行虚拟预演，然后再将规划方案运用到真实手术中。本项目针对显微脑膜瘤切除手术提供给医生一种三维交互式混合现实显微环境进行虚拟预演以实现术前精准规划。主要研究内容有：患者个性化靶区影像分析，高保真显微手术人机交互接口设计以及基于混合几何模型的统一物理视触觉仿真框架。目前取得的重要结果如下：面向多组织以及肿瘤分割的深度学习方法，面向虚拟手术的电磁视触觉交互装置，面向切除手术的高保真交互式切割模型以及面向交互式混合现实环境搭建的虚实融合方法。本项目取得了优异的研究成果，主要包括：发表学术文章19篇，其中SCI收录10篇（包括npj Digital Medicine, IEEE Network, SCIENCE CHINA Information Sciences等国际顶刊）；SIGGRAPH Asia、Pacific Graphics等国际会议论文3篇；软件学报、计算机辅助设计与图形学学报等EI期刊3篇, CCF-B/C中文期刊3篇，申请专利3项，授权其中2项，获得2019中国虚拟现实大会最佳论文提名奖。本项目提出的一系列技术思路具有原始初创性，可为神经外科新一代"虚拟手术定量规划系统"奠定理论和方法基础，将推动医学人工智能与扩展现实技术在术前手术规划中的应用。