脑血管虚拟介入手术的关键科学问题研究

With the rapid development of virtual reality technology, in recent years a topic termed virtual surgery has been widely studied and applied in many fields including preoperative planning and doctors training. Study on cerebrovascular segmentation and fusion render plays a vital role in virtual surgery system. Unfortunately, there are some key scientific issues to be solved due to insufficient cerebrovascular extraction information and display interface information etc. This project aims to study the key theories and technologies of cerebrovascular segmentation and fusion render for virtual surgery. It will break through in theories on cerebrovascular structure and contour extraction and multi-information fusion. Moreover, this project will present a complete solution for virtual surgery and then verify correctness and effectiveness of the theories and methods with actual experiments. The innovative research outcome of this project will play an important role for the applications of virtual surgery system in China.

随着虚拟现实技术的发展，虚拟手术已成为国内外学者研究的热点，在包括术前规划、医生培训在内的多个方面具有广泛的应用前景。其中脑血管分割建模问题和多信息融合显示问题的研究对虚拟手术系统精确性和实用性的提高起着至关重要的作用，是虚拟手术研究中迫切需要解决的关键科学问题。由于受到脑血管细节信息提取不全、显示界面可用信息较少等关键问题的制约，目前尚未出现完整的普适性解决方案，为此本项目将开展针对虚拟手术中以上关键理论和技术的系统研究。本项目完成后将突破利用多分支预测思想进行脑血管结构与轮廓的提取、利用虚拟视野扩张和二维造影图像实现多信息融合显示等关键技术，提供一套完善的脑血管分割建模和多信息融合显示的解决方案，并将在此基础上搭建实验系统来验证本项目所提出的理论方法和解决方案的准确性和有效性。本项目的开展有望取得一系列创新性成果，对于推动虚拟手术系统在我国的应用具有十分重要的实际意义和应用价值。

随着虚拟现实技术的发展，虚拟手术已成为国内外学者研究的热点，在包括术前规划、医生培训在内的多个方面具有广泛的应用前景。其中脑血管分割建模问题和多信息融合显示问题的研究对虚拟手术系统精确性和实用性的提高起着至关重要的作用，是虚拟手术研究中迫切需要解决的关键科学问题。由于受到脑血管细节信息提取不全、显示界面可用信息较少等关键问题的制约，目前尚未出现完整的普适性解决方案，为此本项目主要针对虚拟手术中以上关键理论和技术进行系统研究。.针对申报书设定目标、研究内容和关键性问题，本课题深度研究虚拟手术中脑血管分割建模和多信息融合显示的理论和方法体系，并在此基础上研发一套实时交互脑血管介入虚拟手术软硬件实验系统。此系统的构建主要分为两个部分：基于U-net网络结构的脑血管自适应分割建模和以Unity3D和VIVEPORT，SteamVR以及3ds Max为平台的多信息动态融合与增强显示。前者以Python语言为基础，采用Retinex图像增强技术和U-net网络分割技术实现预处理以及脑血管分割建模。后者首先将分割好的血管输入到Unity3D环境中，实现血管模型三维重建和手术设施模型；其次采用A*算法实现3D中路径规划，计算最优的手术路径；然后为其添加碰撞器组件以实现血管碰撞检测；最后，采用SLAM算法，将VR场景与眼前真实场景动态渲染，实现混合现实增强显示。本系统能够同步完成手术室虚拟场景显示、三维脑血管模型虚拟场景、手术路径规划和手术导丝模拟的任务，从而实现虚拟手术训练系统中对临床手术环境的真实模拟和多信息融合显示。在实际操作过程中，使用者仅需佩戴VR头戴式设备即可对血管模型、手术设施、手术路径进行全方位观察，操作手柄进行手术导丝模拟，产生碰撞时手柄通过震动进行反馈，多种信息在虚拟手术系统中得到动态融合和有效呈现。.本系统不仅能够用于手术训练，而且还能够用于其它领域，比如飞行员驾驶培训、教育领域、汽车驾驶培训、器件维修等，具有十分广阔的应用前景。