基于振动信号的可穿戴设备交互技术研究

With the development of computer networks and electronic technology, smart wearable devices are becoming popular and their shipments are forecast to increase significantly in the coming years. However, due to their limited sizes, the interaction between human and wearable devices highly depends on smartphones and computers, which hinders their large-scale applications. Current interaction techniques based on speech, image, radio-frequency signals, acoustic signals and inertial measurement units all possess intrinsic shortcomings and great limitations in practical application scenarios. Considering the advantages of low cost and high robustness, this project will make use of vibration signals caused by finger tapping on human body, and develop novel interaction technologies by dealing with the technical challenges, aiming to design simple and easy-to-use interaction methods for wearable devices to improve their user experiences. We will conduct a study of the characteristics of vibration signals propagating through the human body and extract the key features, explore different vibration detection mechanisms which are suitable to wearable devices, design positioning schemes for finger tapping on human body, and finally provide a series of interaction methods for wearable devices. All the outcomes will make important contributions to the wide deployment of wearable devices.

随着计算机网络及电子技术的发展，智能可穿戴设备已逐渐普及并呈现快速增长趋势。但是，可穿戴设备小尺寸的限制使得人机交互极度依赖手机和电脑，这种原始而低效的交互方式成为阻碍其大规模应用的主要问题之一。目前基于语音、图像、射频信号、声波信号、测量惯性单元等技术实现的交互方案均存在一些技术本身特性导致的问题，使得其应用场景受到较大限制。本课题将利用振动信号低成本、对环境的鲁棒性等优点，结合人体这个可随时获得的媒介，进行基于人体敲击的交互技术研究，解决方案实施过程中面临的一系列挑战，通过简单易用的交互方案提升用户体验度。本课题主要研究内容包括：（1）研究基于人体的振动信号传播模型，建立振动信号关键特征提取机制；（2）研究符合可穿戴设备小体积、低成本特性的敲击振动信号检测机制；（3）研究基于人体振动信号的敲击定位检测机制；（4）探索各种场景下的信息交互机制，形成一套完善的可穿戴设备人机交互应用。

近年来，机械振动的潜在特性在许多传感应用中得到了利用，振动为我们如何看待智能传感提供了全新的视角，利用振动信号进行传感有可能打破其他传感技术遇到的瓶颈。项目组我们调查了现有的基于振动的智能传感系统，并总结了定位、用户身份验证、健康监测和通信方面的代表性工作，以及使用振动信号进行新型的以人为中心的传感面临的主要挑战和未来研究方向。本项目首先研究基于人体的振动信号特性，提取其关键特征信息，然后研究基于人体的敲击振动信号检测机制，使其符合可穿戴设备低成本、体积小的特点，并使得信号的关键特征最大化；再基于检测的振动信号及信号关键特征，研究基于人体的敲击定位方法；以上述为基础，项目组设计了一套完善的可穿戴设备人机交互机制。具体包括：1）项目组提出了一种安全的文本输入系统Taprint，Taprint实现了很高的击键识别准确率 (96%)且可以以极低的错误率 (2.4%)对用户进行身份验证；2）项目组提出了一种便携式、免提和安全的文本输入系统FaceInput，FaceInput 可以成功地感知微小的面部振动，平均识别准确率为98.2%；3）项目组提出了一种基于骨传导模型的可穿戴设备稳定的 QWERTY 键盘输入系统Oinput，Oinput具有超强的鲁棒性，平均识别准确率高达 93.3%。通过实施该项目，项目负责人获得了教育部自然科学奖二等奖（排名第一）、广东省科技进步奖二等奖（排名第三）、深圳市自然科学奖一等奖（排名第一、已公示结束）、第二十三届中国专利优秀奖（第一发明人）和第八届专利优秀奖（第一发明人），获批了广东省高校新一代智能物联网创新团队和深圳市可穿戴物联网智能感知与计算重点实验室，相关成果论文获得了国际学术会议IEEE ICPADS’2020最佳论文奖，搭建了一支“感-传-联-算”全方位发展的高素质科研队伍。