混合现实形态的颅脑手术导航关键技术研究

Mixed reality based surgical navigation provides surgery relevant information to the surgeon intraoperatively, thus improves surgical accuracy. However, excessive display of such information may cause interference with the surgical procedure, which induces danger for the patients. Therefore, improvements on the visualization technology are necessary..In this study, mixed reality based intro-operative surgical navigation for brain surgery will be explored. Methods combining perceptual visualization and interactive visualization will be studied, in order to achieve a visualization scheme with multi-monitor setup for mixed reality, multi-level contents and multi-scale rendering mechanism based on visual saliency mechanism, thus minimizing interruptions causing by massive information, aiming to achieve unobtrusive control on image guidance in brain surgery.

手术导航能够将患者的术前规划信息在手术过程中直观的显示给医生，为手术方案的精准执行提供了可能。但多种信息的混杂造成关键信息难以有效地传达，反而干扰正常手术进程。因此，必须对可视化的形式和内容进行优化。.本项目将主要针对混合现实形态下的交互可视化方式，从基于认知的导航信息生成、导航信息易于理解的有效的可视化以及灵活的交互控制等问题入手，从可视化的内容加工和显示交互两方面进行研究，围绕：1）针对颅脑复杂结构的多形式导航信息的生成、2）基于多个显示视角构建空间深度层次、3）基于视觉显著性机制的多层次图像融合的可视化形式、4）可视化对象的空间尺度和渲染精度的智能化动态调整等内容展开研究，旨在为图形引导的颅脑手术的准确、合理实施提供完整的解决方案。.本项目的顺利完成有望真正实现混合现实形态下的术中导航，从而最大化的发挥图像引导在颅脑手术中的作用，提升手术效果，并对计算机辅助手术的发展提供有益的探索。

混合现实方式的手术导航能够将患者的术前影像数据及规划信息在手术过程中直观的显示给医生，为手术方案的精准执行提供了可能。但多种信息的混杂使得关键信息难以有效地传达，反而干扰正常手术进程。因此，必须对可视化的形式和内容进行优化。本项目主要针对混合现实形态下的手术导航，从导航信息的内容加工和交互可视化两方面进行研究，围绕：1）针对颅脑复杂结构的导航信息（目标区域）的准确生成、2）基于可视化对象尺度智能化动态调整的混合现实可视化、3）基于端到端手术识别的可视化控制等内容展开研究。.其中针对颅脑手术的导航需求，以脑胶质瘤切除手术为例，探索了基于多模型MRI数据和深度学习的分层次的区域分割，在BraTS数据集上实现了媲美SOTA的结果；针对导航信息的可视化呈现，提出了一种用于手术导航的多层次交互可视化方法，构建了用于手术导航应用的低成本的AR系统，实现了目标区域中可视化对象区分化的空间尺度以及渲染精度的智能化动态调整；针对手术导航的无干扰化需求，研究了基于视觉的手势识别在手术环境下的特点，探索了基于深度学习方法的端到端的动态手势识别，从而实现对于导航可视化效果的准确、高效的非接触控制。.本项目的研究成果为真正实现混合现实形态下的手术导航的发展提供了有益的探索，旨在为图像引导的颅脑手术的准确、合理实施提供完整的解决方案。