面向手术机器人的人体体内环境动态三维重构方法研究

Surgical robot has become a hot topic in current society due to its characteristics of small trauma, high precision, and strong stability. Surgical robots generally use electronic endoscope as an in vivo environment sensing device, but the operator is difficult to obtain the comprehensive in vivo environment information with the limitation of view angle of endoscopic. The project intends to research the visual SLAM technology, and develop a real-time 3D reconstruction method applied for a flexible and dynamic environment in vivo. Therefore, these can provide the surgeons with real-time and dynamic 3D images of the vivo environment intuitively and comprehensively. The main research contains: 1) feature grid construction with elastic mechanics renewal mechanism in vivo environment; 2) dynamic and flexible 3D reconstruction of the vivo environment based on V-SLAM; 3) dynamic rigid body image segmentation and positioning in vivo environment; 4) registration and fusion of tomography image, and 3D reconstruction model. The effectiveness of the algorithm is verified by simulations and experiments. Clinical promotion and application were carried out through industry-university-research cooperation. The achievement of this project will solve the three-dimensional perception problem of the surgical robot in vivo environment, and promote the application of SLAM technology in the medical field. Furthermore, these can provide technical support for the automatic and intelligent development of surgical robots.

手术机器人因其具有创伤小、精度高、稳定性强等特点，成为了当今社会广泛关注的热点。手术机器人一般利用电子内窥镜作为体内环境感知设备，然而受内窥镜视场角限制，使用者很难获得全面的体内环境信息。本项目拟研究视觉同时定位与建图（V-SLAM）技术，开发出适用于体内柔性动态环境的实时三维重构方法，进而为手术医生提供直观全面的体内环境实时动态三维影像。主要研究内容有：1）面向体内环境构建具有弹性力学更新机制的空间特征网格；2）基于V-SLAM的体内环境动态柔性三维重构； 3）体内环境中动态刚体的图像分割与定位；4）断层扫描影像与三维重构模型的配准与融合。通过真实手术视频数据仿真与模拟实验平台实验对算法的有效性进行验证，并通过产学研合作进行临床推广与应用。本项目成果将解决手术机器人在体内动态柔性环境中的三维感知问题，推动SLAM技术在医疗领域的应用，进而为手术机器人的导航与自主控制研究提供技术支撑。

手术机器人因其具有创伤小、精度高、稳定性强等特点，成为了当今社会广泛关注的热点。配备于手术机器人上的电子内窥镜受视场角限制，导致使用者很难获得全面的体内环境信息，亟待出现更加直观全面的体内环境实时动态三维影像。本项目面向微创手术实际情况，针对手术机器人感知体内手术环境并建立动态三维模型的难点问题，研究并实现了体内柔性动态环境的实时三维重构。同时，面向手术机器人自主化发展进行了一系列超前探索。本项目围绕各项研究目标开展了以下研究，并取得了相应成果：.1）提出了基于自监督机制的体内复杂场景实时动态深度估计方法，为体内环境三维重构提供了实时精确的三维信息。.2）提出了面向体内环境动态点云的逆卷积特征提取与柔性配准，实现了基于多帧点云信息的体内柔性动态场景整体三维重构。.3）提出了手术器械的鲁棒检测分类方法和“器械-动作-目标”三元组识别方法，能够使机器人对体内手术场景进行初步理解。.4）提出了利用纹理特征的体内关键定位点动态追踪方法，为实现术前与术中影像的跨模态配准融合提供了核心技术支撑。.5）设计并研发了腔镜扶持机器人及其基于器械定位的人机协同自主追踪算法，该机器人能够在术中自主调整腔镜视野，配合医生完成手术。.项目组开发了包括术中精准测量系统、腔镜扶持机器人自主追踪系统和多模融合导航的手术机器人主从操作系统在内的三个手术系统。目前，术中精准测量系统已经在华西医院进行临床应用，腔镜扶持机器人自主追踪系统已经在上海长征医院进行动物实验。.在本项目的支持下，共发表学术论文12篇，参加国际学术会议4次；申请发明专利9项；培养博士研究生4名，硕士研究生10名。部分技术已推广应用，并获得2020年世界互联网领先科技成果，获得2021年安徽省科学技术奖科技进步一等奖(5/10)。