基于立体视觉的动态在体软组织表面三维运动跟踪研究

Real-time and accurate 3D reconstruction and motion estimation of in vivo soft-tissue surface, in a highly dynamic Minimally Invasive Surgery (MIS) setting, is a bottleneck for the further intelligentized development of robotic-assisted MIS. The advent of stereo-endoscope provides a unique opportunity to solve the problem using non-invasive visual tracking techniques. However, most existing visual tracking methods do not apply to the dynamic surgical environment and complex tissue deformation. This proposed study aims to explore efficient and robust methods for 3D visual tracking of soft-tissue motion. Statistical shape and biomechanical models will be used to represent the spatial shape of soft-tissue. The temporal motion of soft-tissue may be modeled by a quasi-periodic signal that relates to cardiac and respiratory periodic motions. Online learning and multi-resolution analysis techniques will be introduced to extract discriminate features on tissue surface. In feature space, the 3D reconstruction and motion estimation will be formulated as an integrated mathematical problem based on the deformation and motion models, and its fast solution algorithm will be studied. Robust techniques are investigated to deal with typical dynamic disturbances in MIS. Quantitative methods will be explored to evaluate the tracked results with absence of ground truth, and it is expected to establish a benchmark data set for algorithm evaluation. The proposed work presents as a novel expansion and deeper understanding of nonrigid deformable object tracking in a complex scenario, and the expected achievements will boost current capability of surgical robots. Thus the proposed work possesses high scientific significance and particular clinical value.

高度动态的微创手术环境下，如何实时、准确的恢复在体软组织表面三维形态并估计其运动，是机器人辅助微创手术系统未来智能化发展的瓶颈问题。立体内窥镜的出现为应用被动视觉跟踪技术解决该问题提供了良机，但多数已有的视觉跟踪方法并不适用于动态的手术环境和复杂的软组织形变。本项目致力于探索高效、鲁棒的软组织运动三维视觉跟踪方法。拟采用统计形状和生物力学模型描述软组织三维形变；应用与呼吸和心动周期相关的准周期信号对软组织时间运动建模。拟应用在线学习和多分辨率分析技术提取组织表面的可辨识特征。在特征空间，基于形变和运动模型将三维重构和运动估计描述为统一的数学问题并探究其快速求解。研究应对术中典型动态干扰的鲁棒性方法。探索无真值情况下跟踪结果的定量评价问题，尝试建立标准测试集。本项目是对复杂环境下非刚性形变目标视觉跟踪的最新拓展和深化，预期成果可提升手术机器人现有能力，具有较高的科学意义和重要的临床应用价值。

微创手术环境下，基于立体内窥镜图像对在体动态软组织表面进行实时3D重构和跟踪，是手术机器人领域一个关键和极具挑战性的问题。本项目针对现有技术和方法在应对复杂软组织形变、动态手术环境以及实时性要求等方面存在的问题，开展了软组织空间形变建模和时间运动建模、软组织表面可辨识特征提取与描述、鲁棒三维视觉跟踪框架以及跟踪结果评价等方面的研究，获得了一系列具有原创性的成果，主要包括：1）提出交叠薄板样条形变模型，大幅提高心脏运动跟踪算法的效率，并有效解决了术中器械局部遮挡的问题。2）提出3D视觉跟踪中的“帧间”和“帧内”匹配问题，根据内窥镜立体图像序列在帧间和帧内一致性上的差异，分别基于空间-颜色联合概率分布和薄板样条模型进行匹配，并提出一种帧间帧内并行迭代计算框架，实现快速、准确和鲁棒的软组织3D跟踪。3）提出新的基于双卡尔曼滤波的心脏运动预测方法，将原非线性的双时变傅里叶级数运动模型转换成两个线性子模型分别进行卡尔曼滤波，简化了运动预测算法的计算和实现，同时避免了对非线性模型线性化时容易引起的收敛和互耦合问题；该方法可有效应对术中动态因素引起的跟踪中断及自恢复问题，提高跟踪算法的鲁棒性。4）首次揭示了心跳和呼吸循环引起的心脏表面目标点运动的方向性问题，在双卡尔曼滤波架构下分别在心跳和呼吸最优运动方向上对两种运动分量的瞬时频率进行在线估计，提出最优正交子带融合和迭代最优滤波两种频率估计算法。5）建立基于“达芬奇”手术机器人立体内窥镜视频的软组织3D视觉跟踪测试数据集，对近万帧次内窥镜图像中的兴趣点进行人工标记，获得其3D运动定量评价基准数据；基于活体心脏运动数据，制作并发布了三维形态真值已知的心跳运动人工合成立体图像数据集；与四川省人民医院心脏外科中心合作，对术中内窥镜参数进行标定，建立真实心脏微创手术图像数据集；基于以上数据集，建立了较完整的软组织视觉跟踪性能评价体系。