基于精细触觉交互的助残手灵巧动作控制技术研究

At present, the function of assistive hand can't meet the needs of daily life as it cannot do continuously fine work. Blind with normal intelligence can be normal living based on touch. Applicants believe that tactile perception and haptic interaction could make the system of assistive hand intelligent , which can provide reconstruction of hand function for the disabled. To prove and implement the idea, it’s necessary to build a healthy fingers touch measurement platform at the beginning. This platform combined with tactile coding technique can be used to further study of force sense of touch in daily life for healthy people. In order to imitate human touch, the applicant studied existing tactile sensor and then proposed multi-sensing tactile sensor principle based on visual measurement. The sensor is suitable for end structure of finger, which has the advantages of abundant visual information and tactile information accurate. Improve people-oriented person based on haptic coding technology research -- handicap hand intelligent interaction mechanism, thus people and handicap hand can accomplish continuous fine movements naturally. Finally, a series of experimental studies were conducted with developed prototypes, according to hand disabled people daily living needs most urgently needed action. The project can reveal the law of touch.when people conduct fine job, haptic interaction research methods, tactile sensor can provide a new way for the development of assistive technology hand.

目前，助残手的功能还不能满足日常生活中连续精细作业的需求。注意到智能健全的盲人依靠触觉就可以正常起居，基于这一事实，申请人认为依靠触觉感知与触觉交互，就能实现助残手系统的智能化，为手残人再造手部功能。为证明并实现这一构想，本项目首先搭建健康人手指触觉的测量平台，结合申请人提出的触觉编码技术深入研究健康人手日常起居动作中的力触觉规律；为了模仿人的触觉，申请人认真研究了现有的触觉传感器，提出了基于视觉测量的多感知触觉传感器原理，该传感器适合于手指端部结构，有望综合视觉信息丰富、触觉信息精确的优点；基于触觉编码技术研究完善以人为本的人——助残手智能交互机制，从而使人和助残手能自然而又协调地完成连续的精细动作。最后，针对手残人日常起居最急需的动作需求，用研制的原型机开展系列实验研究。本项目能揭示人精细作业时触觉的规律，研究的触觉交互方法、触觉传感器能为研制助残手提供新的技术途径。

本项目围绕助残手的精细控制开展研究，目标在于帮助手部残疾人实现手功能再造，完成日常生活中连续精细作业的需求。为了实现这一目标，本项目提出了人体手臂运动行为的分类化识别思想，包括行为的目标识别、连续复杂行为的单元化和复现，并借助于残肢运动、机器视觉、触觉等多模信息中蕴含的人的动作意图对助残手的连续运动进行有效的控制。. 本项目主要开展了以下四方面创新性的研究工作：（1）上肢连续性行为的子动作分解和识别方法研究。以可穿戴式惯性测量 （IMU）单元为工具获取人体手臂运动数据，构造特征矩阵，提取人体子动作序列，并提出了新的DTW算法对日常生活中常见的11种动作进行识别，准确可达99.05%；同时，基于子动作模板的动作识别耗时在0.1秒数量级，实时性有了极大提高。（2）有效控制助残手的前提是了解人的动作意图。项目组提出了交叉验证和广义回归神经网络的识别模型，分别区分上肢静止、加速和减速三类状态下的运动意图。利用长短期记忆神经网络预测上肢的动作意图以降低机械手的控制延迟，对人日常起居中穿衣、穿鞋等围绕身体动作的识别率和可控制率可达98%。（3）为了更为准确地识别人的运动意图，本项目开展了视觉信息和手臂运动信息融合的人体动作意图识别技术研究，结合目标物体的种类和手臂末端位置来控制助残手的行为，上肢末端位置识别准确率达到100%，目标物体识别成功率为95.4%，助残手控制成功率为95.4%。（4）开展基于运动、视觉、触觉等多模信息感知与交互的助残手控制技术研究，有效地拓展了助残手的应用范围，其中单手残人几乎可以使用助残手配合健康手完成所有的日常动作，双手残人不仅可以完成日常起居动作，还可实现双手残人通常难以完成的动作：如从口袋里拿出电话、口罩等不同材质的物体再进行相应的操作。. 本项目取得了良好的实用化效果，深刻揭示了基于“人在环中”的助残手精细作业规律，为助残手的推广应用提供了更新更可靠的技术途径。