基于视觉与惯性传感器的直肠癌微创手术增强现实导航关键技术研究

Laparoscopic minimally invasive surgery for rectal cancer is the main method for the treatment of rectal cancer. Due to the complex anatomy of the rectum and close relationship with the surrounding tissues, surgical treatment is extremely difficult and complicated. To locate the tumor, surgeons usually rely on their experience and colonoscopy navigation. A high technical challenge still remains. In this project, we propose an augmented reality navigation for minimally invasive rectal cancer surgery based on vision and inertial sensors. To achieve a real-time tracking of the laparoscopic camera in a complex environment，inertial sensors combined with stereo laparoscope reconstruction and dense tracking technology is proposed. After that, with a fast non-rigid registration, the three-dimensional models from the preoperative images can be registered and fused to the 2D surgical view which is obtained from laparoscopic camera in real time. This will help to guide the surgeon to carry out the operation based on augmented reality. The results of this research will be helpful to the technical innovation of minimally invasive surgery navigation for rectal cancer. It can provide fundamental and technical contribution to develop a high precision and low-cost navigation system for minimally invasive rectal cancer surgery. It also has valuable theoretical contribution and clinical applications for the field of minimally invasive surgeries.

腹腔镜直肠癌微创手术是治疗直肠癌的主要手段，由于直肠复杂的解剖位置以及与周围组织的关系密切，手术治疗比较困难且并发症较多。临床上医生通常依靠经验和肠镜的导航来定位肿瘤的位置，给外科医生提出很高的技术要求。本课题提出了一种基于视觉与惯性传感器的直肠癌微创手术增强现实导航的理论和方法，通过惯性传感器，结合立体腹腔镜三维重建和密集定位技术，来实现复杂环境下的腹腔镜摄像头的实时跟踪，采用快速非线性配准方法实现术前三维模型与腹腔镜获取的二维手术画面实时配准和融合，来实现增强现实的视觉导航，从而辅助外科医生开展手术。本课题的研究成果将有助于直肠癌微创切除术导航的技术革新，为后续研发高精度、低成本的直肠癌微创手术导航系统解决关键理论和技术问题，对微创手术领域的发展具有重要的理论意义和临床应用价值。

腹腔镜直肠癌微创手术是治疗直肠癌的主要手段，由于直肠复杂的解剖位置以及与周围组织的关 系密切，手术治疗比较困难且并发症较多。临床上医生通常依靠经验和肠镜的导航来定位肿瘤的位置 ，给外科医生提出很高的技术要求。本项目重点探索和研究基于视觉与惯性传感器的增强现实技术应用在盆腔下结直肠癌微创手术中的解决方案。首先，针对术前影像重建的3D模型与内窥镜视野下的2D目标区域的配准难的问题，本项目提出基于颜色一致性的3D/2D配准方法。利用显露在内窥镜的部分骨盆组织来完成术前3D模型到2D目标区域的初始化配准，缩短了人工配准时间，提高了配准精度。其次，为了提高内窥镜下影像的清晰度，本研究探索了多种基于深度学习的图像超分辨率算法。针对内窥镜的定位问题，本文提出两种定位算法：基于3D模型的摄像机定位算法和基于立体视觉的摄像机定位算法。在3D模型与2D目标区域重叠对齐的条件下，通过最小化可视点的光度测量误差来优化帧间相对位姿。实验结果表明，使用此跟踪算法的估计轨迹与真实轨迹的均方根误差为0.9261mm，证明其跟踪精度高。然而，此算法依赖于3D模型与其所对应的真实物体的观测面积，适应场景较少，故展开对基于立体视觉的摄像机定位算法研究，采用具有多种优良特性的ORB作为定位算法的特征提取及匹配的特征算子，使用立体光束平差法进行估计摄像机位姿，并通过局部地图优化减少累积误差。实验结果显示，基于立体视觉的跟踪算法的估计轨迹与真实轨迹的均方根误差为1.3296mm，且能实现15帧的实时处理速度，具有较高跟踪精度、实时性。最后，本项目设计了基于增强现实技术的仿真盆腔结直肠癌微微创手术导航系统，通过位姿优化线程、局部地图优化线程和增强现实显示线程实现导航系统，并在仿真骨盆模型进行算法验证。本项目的研究为直肠癌微创手术的增强现实导航提供了一定的技术基础。