基于力觉-视觉融合的高逼真虚拟牙科手术系统关键技术研究

This proposal intends to simulate dental surgery with high reality, which have properties of high immersion and interaction. In addition, active learning is introduced into the virtual dental surgery training system. There are four points to be considered. (i) We want to study a high realistic and high efficient simulation training platform for dental surgery by investigating key technologies in multi-layer and multi-modality modeling of 3D tooth tissues. (ii) How to simulate the interactive simulation of the force-visual integrated learning between tooth tissues and surgical tools is one of key points to be studied. (iii) Active training methods with intelligent learning and auto evaluation method are proposed. (iv) The proposed platform are built, which can provide better immersion of experience than traditional surgery simulation training system. It can also increase the learning efficiency and enhance the training effect. Once our research purposes could be successfully reached, the results will play an important effect on the field of high realistic simulation training for dental surgery with intelligent learning.

本项目重点研究高逼真牙科虚拟手术训练系统，提升系统的沉浸感和交互感，并引入虚拟系统特有的主动学习方式。研究内容包括（1）牙体组织的多层次、多模态三维建模技术，创建能够反映真实牙齿复杂外形和多层组织特性的牙体模型；（2）设计牙体不同组织与手术工具之间的力觉-视觉融合交互仿真技术，模拟牙体不同组织在手术工具的外力交互作用下变形乃至被切割的过程，通过力觉-视觉融合反馈逼真的手术感觉；（3）设计主动式智能学习训练方法和自动化性能评价，让实习医师能够同时从视觉和触觉两方面重现专业医师的手术过程，并自动比较评价差别；（4）并在上述基础上，搭建一个高逼真、高效率的牙科手术模拟训练平台，解决传统手术模拟训练系统难以实现“身临其境”的难题，提高学习效率，增强训练效果。该研究对于计算机辅助牙科手术训练方面具有重要的理论意义和研究价值。

目前国内外已开发出多款用于培训口腔医师诊疗操作技能的手术模拟系统，然而随着用户对模拟操作性能要求的提高，这些仿真系统普遍存在真实感弱、学习效率低、训练效果差等问题，已越来越无法满足医师的需求。因此，需要开发真实感更强、学习效率更高、训练效果更好的手术模拟训练平台来培训口腔医师的诊疗操作技能。项目从网格去噪、三维数据建模、力觉-视觉融合交互仿真以及力觉和智能学习训练方法和自动化评价方法建立高逼真虚拟牙科手术训练系统，提升系统的沉浸感和交互感，具体执行情况如下：.1．提出了一个级联法线滤波神经网络（称为CNF-Net），用于对测量表面进行几何感知的网格去噪。CNF-Net可以自动处理具有多尺度几何特征但被不同分布的噪声所破坏的网格。.2. 构建了多层虚拟牙齿模型。项目使用八叉树数据结构实现体数据的碰撞检测算法，基于口腔 CT 图像重建出牙体的面模型和体模型，用离体牙进行临床实验来获取与力觉反馈相关的参数，包括硬度、粘度、摩擦系数等，然后把这些参数赋予重建出来的牙体模型。该模型类似地反映具有多层的真实牙齿，每层具有不同的机械硬度。.3. 提出了一种新的基于脉冲动力学的交互式触觉去骨模型来模拟接触力，包括阻力和摩擦力，以模拟牙体不同组织与手术工具之间的力觉-视觉融合交互过程。设计了具有三个自由度的振动模型来模拟手术工具工作时产生的振动感，为手术仿真提供一个逼真、稳定的力觉反馈。.4. 提出了结合力反馈的智能学习训练方法与基于隐马尔科夫模型的性能评价方法。项目通过结合力反馈设备把专业医师手术过程中的力觉反馈信息也传授给实习医师，提高操作技能的学习效率，增强训练效果。项目建立用于评价实习医师和专业医师手术操作技能的隐马尔科夫模型以有效进行客观评价。.5. 搭建一个高逼真、高效率的牙科手术模拟训练系统，并利用该系统开展一些高难度、高风险的手术操作技能训练，提高了学习效率，增强了训练效果。