面向腹腔镜基于光学融合的视觉透视悬浮显示机理研究

During the operations of Minimally Invasive Endoscopic Surgery, the traditional model of displaying medical imaging data can not provide the scene information of patient for surgeons, so the surgeons have to distract their attention for obtaining the scene information from other channels. The distraction of surgeons' attention leads to the loss of situation awareness in the operations. That is why the surgeons' operations are totally blocked. In this project, for solving the problem of losing the situation awareness, we propose the optical see-through method of floating display, which can make a fusion of the medical imaging data and the scene information of patient, and show them all. It helps to increase the situation awareness of surgeons, and make the success rate of their operations higner than before. The research contents of the optical see-through based on floating display include: (1) 2D/3D registration of medical imaging data; (2) parameter estimation of the optical see-through model; (3) depth perception of medical imaging data; (4) performance evaluation of the optical see-through based on floating display. We are planning to do the intensive researches on the above four contents, and propose some innovative results in theory on the mechanism of optical see-through based on floating display, which can improve and promote the traditional model of diaplaying medical imaging data.

在腹腔镜手术中，传统的医学影像显示模式没有考虑到为医生提供病体场景信息，使得医生不得不分散注意力从其它渠道获取这类信息，这就导致了医生在手术过程中的状态意识丧失，从而妨碍了手术顺利进行。为了解决状态意识丧失的问题，本项目拟引入基于光学融合的悬浮式视觉透视方法将病体状态和场景信息融合在一起并加以显示，从而为医生提供更完整的手术操作信息，提高手术的成功率。基于光学融合的悬浮式视觉透视的研究内容主要包括：（1）基于自然显著特征的医学成像数据的2D/3D 配准;（2）基于全局搜索的视觉透视描述模型的参数估计方法；（3）基于切片抽样获取医学成像数据的深度感知；（4）建立基于光学融合的视觉透视验证系统，开展测试实验和性能评估。本项目将对以上四个方面的内容做深入研究，并将在视觉透视的悬浮显示机理和模型描述上给出一些创新性的理论成果，以期改进和提升现有医学影像显示模式。

光学透视方法的研究起始于军事上的需求和应用，但是却在计算机辅助手术领域中不断充实发展，特别是在腹腔镜手术领域中得到了广泛的关注。本项目在光学透视方向上的研究内容包括：医学成像数据配准、透视模型参数估计、深度感知以及系统性能评估。项目针对以上四个方面的相关研究内容开展了大量的研究工作，取得了一系列的研究成果。项目在基于视觉透视系统的研究中，将圆锥二次曲线特征作为一种重要的图像视觉特征，提出了基于二次曲线特征的摄像机标定算法；算法通过辨识图像平面上的虚圆点，可恢复出平面的与虚圆点对偶的二次曲线，并最终获得摄像机的相关参数。项目针对光学透视系统中摄像机坐标系与机器末端执行器之间相对位置关系的标定问题，提出了基于非最小化优化的透视系统手眼标定算法；算法通过引入非最小化代价函数的优化过程进行参数估计，具有计算复杂度低、运算时间短、精度高等优点。项目在基于ARTag人工标记的手术立体视觉定位系统和算法方面做了一定的工作，提出的系统搭建方案具有简单经济的优点，实现了实时的、像素精度的、多目标的人工标记物空间跟踪。另外，项目在腹腔镜手术工具的视觉透视跟踪上取得了一些成果，提出了一种新的基于深度学习方法的手术工具跟踪算法，借助提取长直线段特征和卷积神经网络作为模式分类器，从而达到快速准确跟踪的目的。项目还在医学特征图像成像方面取得了一些成果，提出了一种改进的最大似然期望最大化超声CT重建方法，该方法假设待求样本服从高斯概率分布，利用非最小化优化求解最大似然期望最大化算法的迭代初值，具有计算简便、效果稳定的优点。项目在有关光学视觉透视方面的研究，是对经典计算机视觉理论的前瞻性拓展；项目研究与腹腔镜手术方向的紧密结合，能够有效地降低手术的失误概率，在计算机辅助手术领域有着广泛的应用前景。本项目研究是信息科学、工程学和数字医学交叉学科的产物，具有重大的科学和实践意义。