基于无声语音及肌电信息融合的多功能假肢控制研究

Most of the modern motorized prostheses are controlled with the electromyogram (EMG) from the residual muscles of the limbs. After amputation, the residual muscles are usually limited or completely lost, which can neither provide enough EMG for the multifunctional prostheses control, nor realize the flexible control of the prostheses. This project proposes to utilize the amputees' speech as additional control information and combine it together with myoelectric signal from the residual muscles for more flexible control of multifunctional prostheses. Considering the feeling of the users and the possible interference of the environment noise, the non-audible murmur (NAM) conducted by the soft tissue in the area of head and neck will be collected by a NAM transducer which is designed with condenser or piezoelectret to realize the accurate NAM recognition. Two strategies of NAM and EMG signal combination will be applied in the project: (1) By replacing the awful joint-switching method of the present EMG prostheses, the NAM recognition is used to select a joint of prosthetic arm. Then the EMG is used to decide a motion class involved in the selected joint; (2) The NAM recognition is used to select a motion class of multifunctional prostheses, and then the EMG is used as a startup signal of the prostheses. The successful implementation of this project will provide the important theoretical and technical supports for the improvement and enhancement of the control performance of a multifunctional prostheses system, and will also build the basics for the application of NAM sensing and recognition in other areas.

现代电动化假肢大多利用肢体残留肌肉产生的电信号进行控制，由于截肢后肢体残留肌肉有限或完全丧失，不能为实现多功能假肢控制提供足够的肌电信息，也难以实现假肢的灵活控制。本项目拟利用截肢者的语音作为假肢的控制信息，并与残留肌肉产生的肌电信息融合，研究如何实现多功能假肢的灵活控制。考虑到假肢使用者的感受及环境噪声干扰，将通过设计电容式及压电式无声语音传感器，采集使用者头颈部区域经软组织传导的无声带振动语音信号，实现无声语音信号的精确识别。采用语音与肌电信息的两种融合模式：（1）用无声语音识别替代现有肌电假肢笨拙的关节切换方式，实现关节选择，进而用肌电信号确定动作的类型；（2）用无声语音识别实现多功能假肢动作类型的选择，进而用肌电信号启动动作的执行。本项目的成功实施将为改善和提高多功能假肢系统的操控性能提供理论与技术支持，并为无声语音传感与识别在其它领域的应用提供研究基础。

针对截肢后肢体残留肌肉有限或完全丧失，不能为多自由度假肢控制提供足够的肌电信息，也难以实现假肢的灵活控制的问题，本研究利用截肢者的语音作为补充控制信息，与残留肌肉产生的肌电信息融合，探讨实现多自由度假肢的灵活控制。设计了两套基于语音与肌电信息融合的多自由度假肢控制方案，利用语音或肌电信号完成关节模式切换、目标动作类型选择、动作开始与停止；选择了接触式传声器采集使用者的无声语音（低语/Murmur）作为控制信号之一，具有较好的保密性和抗干扰性；招募了多名不同程度截肢的受试者开展假肢操控性能验证与评估，结果表明本研究提出的假肢控制方案具有较高的控制精度和效率；开发了基于虚拟现实技术的运动功能康复与评价平台和基于单片机的假肢控制系统样机，为临床应用提供理论与技术依据。本研究证明了肌电和语音信息的融合能有效地提高对截肢者运动意图的识别，提升人机交互能力。.根据假肢控制研究中发现的问题和未来发展趋势，在基于肌肉表面法向压力分布的人体运动识别、假肢手触觉信息获取和截肢者感觉神经反馈方面进行了扩展研究。由于人体运动时肌肉膨胀或收缩伴随有体积的变化并在肌肉表面产生法向压力，采用柔性传感器检测压力分布信号，通过模式识别分类出相应的动作类型，获得了较高的识别精度，可用于机器手的控制。考虑到大多数商业假肢不具备感觉信息获取和直觉反馈的功能，采用传感技术获取假手抓握过程中的触觉信息，通过截肢残端皮肤表面机械刺激和电刺激的方式探讨感觉神经反馈的可行性。这些研究是相关领域今后的工作重点之一，有利于研究的衔接和深入。