基于视觉和触觉感知的手势交互及其在运动康复中的应用

Natural and harmonious interactions between human beings and virtual objects are the focus of research on man-machine interface. Hand gesture interactions have become the core supportive technology for many applications. To fulfill the requirements for delicate exercise training in the exercise rehabilitation of human hands, this project conducts theoretical and method research on hand gesture interactions based on visual and haptic perception. This project proposes to study the haptic perception mechanism and dynamic characteristics of human hands in the natural environment through experimentation and analysis of the physiologic factors of the sense of touch. Meanwhile, the study enhances the accuracy of hand gesture identification by incorporating visual information. Considering the security and cost required by exercise rehabilitation systems, this project maps the virtual sense of touch into real visual space through augmented reality technology, and proposes a rapid calibration device and algorithm for haptic measurements. Finally, we integrate the research results in stages, and design an exercise rehabilitation system for human hands to simulate natural interaction, thereby evaluating and verifying the effect. Starting from the universality of the method, this project illustrates the substantial difference between the sense of touch and instrument measurements from the perspective of cognitive science, and proposes the actual technology of combining the sense of touch and sight through augmented reality, thus providing new insights into and a theoretical basis for man-machine interaction technology.

人与虚拟物体之间自然和谐的交互是人机接口的研究热点。手势交互已成为众多应用的核心支撑技术。本项目针对在人手运动康复中各种精细动作训练的需要，对基于视觉和触觉感知的手势交互展开理论和方法研究。拟在对触觉感知的生理心理因素进行实验和分析的基础上，研究人手在自然环境中的触觉感知机制和动力学特征，并提出力触觉测量的快速标定装置及算法，结合视觉信息提高动作识别的准确率，同时研究无标记的人手三维形态的跟踪与重建问题。最后，将集成阶段性研究成果，设计一种面向自然交互的人手运动康复系统，对效果进行实验验证与评价。本项目从方法的通用性入手，从认知科学的角度阐明触觉感知与仪器测量之间存在的本质差异，从增强现实角度提出触觉视觉融合的实现方法，为人机交互技术提供新思路和理论依据。

人与虚拟物体之间自然和谐的交互是人机接口的研究热点。手势交互已成为众多应用的核心支撑技术。本项目针对在人手运动康复中各种精细动作训练的需要，对基于视觉和触觉感知的手势交互展开理论和方法研究。通过实验，进一步细化了手部运动时各关节角的变化范围以及各个关节之间的约束关系。研制了基于空气压膜效应和基于电致振动效应的触觉再现装置，并在此基础上开展人手指触觉感知特性研究。研究了自然交互环境的手势识别技术，提出了基于陆地移动距离（EMD）的手指检测方法，分别基于增强现实环境中的二维坐标系和三维坐标系，实现裸手的自然交互。提出了等截面弹性柱体自由扭转/变形模型，层状菱形链连接模型和实时力/触觉交互的增强形变模型等方法，并利用力触觉交互设备，搭建了实时柔性体力触觉再现系统。实验结果表明，模型算法简单、计算速度快、力/触觉反馈平稳，形变效果逼真，能够仿真交互系统实时性和稳定性的要求，从而使操作者对虚拟环境及增强现实环境的感知和交互更加准确真实。针对手部康复训练的需要，设计了一种适用于手部康复训练的彩色标识。该标识借鉴了海明码的编码原则，设计为7*7的方格，根据二进制位“0”或“1”分别用指定的四种颜色填充。利用彩色标识每行的校验码还原标识中被遮挡方格的二进制位，解决标识的遮挡问题,并完成标识在虚拟环境中的跟踪注册。最后，集成阶段性研究成果，设计并实现了一个基于增强现实的手部康复训练系统，使患者能够同时与真实的和虚拟的环境交互、训练项目包括轨迹训练、架子训练、击球训练和插板训练等，并对训练效果进行验证与评价。本项目的研究为康复患者人机交互技术提供新思路和理论依据。