基于磁力驱动的非接触式力触觉再现方法和建模理论研究

This project examines the fundamental principle of magnetic field generation and magnetic force generation, and then presents a novel untethered magnetic force actuated haptic interface through 3D orthogonal electromagnetic field control, which is able to provide kinesthetic, tactile feedback as well as multi-point interactions with permanent magnet and micro 3D electromagnetic on the wearable glove. After the design and realization of the proposed haptic device prototype with vision based real-time hand position measuring, researches on modeling methods for combined kinesthetic rendering, tactile rendering and multi-point-contact based haptic rendering are carried out. Then the characteristic of human operators’ tactile and haptic sensation will be investigated through comparison experiments where several subjects will be involved. Finally, based on the haptic device prototype, Microsoft HoloLens glass, true multi-modal medical simulation system with combined visual and haptic rendering will be developed. The work of this project enables human operator to touch, feel and manipulate virtual objects with his/her hands directly, which leads to an intuitive, natural and revolutionary haptic rendering methods and has a promising application potential.

本项目拟从磁场的产生机制、磁作用力的控制机制出发，创新性地使用电磁铁产生三维正交的可控磁场，控制穿戴式手套上掌心永磁铁和指端微型三维电磁铁所受的磁作用力，研究从原理上能够产生力觉反馈和触觉反馈的、能实现多点交互的、非接触式的新型力触觉再现方法。使用视觉和深度摄像头组，实时检测操作者手指位置，研制基于磁力驱动的非接触式力触觉再现人机接口设备，开展力觉、触觉、力觉和触觉融合的、以及多点交互的力触觉再现建模方法研究；系统深入地研究这种非接触式的力触觉再现中操作者的力触觉感知特性；最后，基于所研制的力触觉再现设备、微软HoloLens头戴式显示设备，开展视觉和力触觉真正融合的、多模态的医学仿真系统研究。本项目提出的力触觉再现方法，让操作者能用手直接触摸、感知和操纵虚拟物体，形成了一种直观的、自然交互的、革新的力触觉再现模式，能进一步提高人机交互的质量，具有深远的应用前景。

作为新兴的人机交互技术，力触觉再现由于能提供传递操作者与环境之间的双向信息和能量交互，因而成为研究热点。本项目以直观的、自然交互的力触觉再现人机交互为应用背景，从磁场的产生机制、磁作用力的控制机制出发，创新性地使用电磁铁产生三维正交的可控电磁场，控制操作者手上穿戴式磁铁（掌心永磁铁或指端微型电磁铁）所受的磁作用力，开展了非接触式的基于磁力驱动的新型力触觉再现方法的研究。. 首先，从电磁场激励和电磁作用力的有限元仿真出发，研究了不同配置条件下的背景电磁铁和穿戴式磁铁的最佳配置方案，实现了多种基于磁力驱动的力触觉再现原型系统（一维单点、二维单点、三维单点、一维多点和三维多点）。其次，使用有限元仿真和实验验证的方法，仿真研究了电磁作用力与电磁铁（包括背景电磁铁和穿戴式电磁铁）驱动电流、穿戴式磁铁位置三者之间的映射关系，提出了适用于力触觉再现的电磁作用力驱动和控制方法。. 基于Kinect、Leap Motion等视觉传感器，开展了三维空间中穿戴式磁铁位置检测方法的研究；进一步结合磁力式力触觉原型系统，构建一系列的力触觉应用系统，开展了操作者力触觉感知特性和实验验证研究；实验结果验证了本项目所研究的基于磁力驱动的力触觉再现方法的有效性；通过有无力触觉反馈的对比实验，验证了其能够有效降低虚拟环境中任务操作的时间，提高操作效率。. 最后，基于表面网格和体元相结合的方法，开展了虚拟环境中柔性物体形变模型和多点交互建模方法的研究；在此基础上结合HoloLens智能眼镜，构建了虚拟医学触诊仿真系统，通过三类肝脏触诊操作、肝脏诊断和用户满意度等实验，开展了磁力式力触觉再现系统在医疗培训领域的领用研究。. 本项目的研究，让操作者能用手直接触摸、感知和操纵虚拟物体，为新兴的力触觉再现人提供了一种非接触的、自然交互的实现模式，为其在医学培训、康复训练、虚拟装配、科学可视化、遥操作等领域的进一步应用奠定了重要的基础。