基于虚拟现实和三维扫描的交互式医学图像可视化和分割的研究

Vast amounts of 3D medical image data are the fundamental source of clinical diagnosis as well as medical researches. 3D image visualization and segmentation provide the basis for qualitative assessment, quantitative analysis, diagnosis, treatment, surgery guidance, and evaluation. However, the visualization of 3D imagery is limited by 2D monitor screen, and the interaction with the data is limited by 2D mouse. Such two bottlenecks significantly reduce the overall interaction performance. We propose in the project to utilize the virtual reality and 3D dynamic scanning techniques to address the above mentioned issues. In particular, we will design and implement focused volume rendering technique to highlight the region of interest in the virtual reality environment. At the same time, the benefit of straightforward and global visualization are well preserved. Moreover, we will employ the 3D scanning through the Kinect sensor. We directly capture user's arm/hand motion, reconstruct the 3D surface, to drive the 3D image segmentation. Through those innovations, we boost the entire system's input and output channels to 3D, improving the effectiveness and efficiency of 3D interaction. We will integrate the entire system into the open source medical image computing platform 3D Slicer, providing a reusable framework for the interactive medical image computing community.

海量的三维数字化医学图像是临床诊断和医学研究的重要数据基础。三维图像的可视化和目标区域的分割，是定性和定量的分析和计算的基础，和诊断、治疗、手术导航、评估等任务的前提。但是，对三维图像进行可视化受限于二维显示器；对三维图像的用户输入受限于二维鼠标。这两个输入和输出的限制，大大降低了三维医学图像交互的性能，和快速审查病灶及其周边环境的效率。本项目拟采用虚拟现实和三维动态扫描技术，试图解决上述瓶颈。我们将设计聚焦性的体绘制方法，在虚拟现实环境中，将用户（医生）感兴趣的区域进行突出，同时保持体绘制直观和全局的优点。同时，我们将采用基于Kinect的三维扫描技术，直接对用户手臂动作进行跟踪，驱动三维图像分割算法。系统性的将三维图像的输入和输出升至三维，提高交互效率和识别精度。我们会将整套系统整合入开源的3D Slicer医学图像计算平台中，为同行提供可重用的软硬件框架。

项目背景：.海量的三维数字化医学图像是临床诊断和医学研究的重要数据基础。三维图像的可视化和目标区域的分割，是定性和定量的分析和计算的基础，和诊断、治疗、手术导航、评估等任务的前提。但是，对三维图像进行可视化受限于二维显示器；对三维图像的用户输入受限于二维鼠标。这两个输入和输出的限制，大大降低了三维医学图像交互的性能，和快速审查病灶及其周边环境的效率。..主要研究内容：.本项目的核心研究内容，是提出新的交互式分割算法和系统。我们将设计聚焦性的体绘制方法，在虚拟现实环境中，将用户（医生）感兴趣的区域进行突出，同时保持体绘制直观和全局的优点。同时，我们将采用基于Kinect的三维扫描技术，直接对用户手臂动作进行跟踪，驱动三维图像分割算法。系统性的将三维图像的输入和输出升至三维，提高交互效率和识别精度。我们会将整套系统整合入开源的3D Slicer医学图像计算平台中，为同行提供可重用的软硬件框架。..重要结果和关键数据：.我们设计的交互式分割算法，已经成功的被最大的开源医学图像分析软件平台3D Slicer纳入其分割模块中。同时，作为通用的交互式分割算法，我们针对具体不同的器官和病灶的分割，也取得了一系列高效、高准确度的结果。其中，在三维图像分割问题方面，项目组深入研究了现有交互式图像分割中的问题，尤其针对脑图像中海马体的分割。对PET图像中病灶的分割，对核磁图像中乳腺腺体的分割，都取得了很好的效果。这些结果都已经发表在SCI期刊中，包括Human Brain Mapping、 Journal of Nuclear Medicine等脑影像学、核医学的顶级期刊。..科学意义：.有了本项目中的交互式图像分割算法，和高效的软件实现，我们下一步就可以把这个步骤融合到图像辅助定量化诊断、计算、手术规划、术中沉浸、疗效定量化评估等一系列应用场景中去。这也是本课题组当前正在进行的研究主题。