面向移动终端的自然文本输入方法研究

With the increasing need for the portability and ease to access the functionalities of interactive devices, mobile devices (e.g., smartphones, tablets and glasses) are becoming the major interaction interface in our daily life. As one of the most important means for expressing interaction intentions, text entry is the key component to the interaction efficiency. Compared with physical keyboards, mobile devices usually rely on touchscreen or mid-air software keyboard to enter text, which increases the naturalness of interaction. However, due to the limitation on the input sensing and feedback channels, and the lack of input intention prediction ability, the input is slow, error-prone and tiring, which significantly limits the interaction ability of these devices. This project is focused on balancing the naturalness and efficiency of text entry on mobile devices. We first explore human’s motion control mechanism during natural text entry, and establish the movement control model of users’ hands, which provides theoretical foundation for input intention prediction. We then study multi-channel input sensing and input intention prediction algorithms, which can break the limit of interface form-factor and channel capacity, and achieve text entry on any surface and in mid-air. We finally explore the multi-modality interaction feedback mechanism in augmented reality, which can improve the signal-noise ratio in input. The outcome of this project will be a series of natural and efficient text entry techniques for mobile devices, which can significantly improve the ability of mobile interaction, and facilitate the development of mobile industry.

随着人们对交互设备便携性和功能访问即时性的需求不断提升，智能手机、平板电脑、智能眼镜等移动终端逐渐成为主要的人机交互接口。作为人表达交互意图的重要途径，文本输入是影响交互效率的关键因素。相比物理键盘，移动终端多采用触屏或空中软键盘进行文本输入，在提高了交互自然性的同时，却由于输入感知通道和反馈信道受限，以及意图推理能力不足，导致输入效率低、容错性差、疲劳度高，显著限制了这些终端的交互能力。本项目针对移动终端文本输入中兼顾自然性与高效性的难题，研究人在自然文本输入过程中的运动控制机理，建立手部运动控制模型，为输入意图推理提供理论依据；研究多通道输入感知和意图推理方法，突破输入界面尺寸和信道容量的限制，实现任意表面和空中文本输入技术；研究增强现实中的多模态交互反馈机制，提升输入信噪比。本项目成果将形成面向移动终端的一系列自然高效文本输入技术，显著推动移动交互能力的提升和移动终端产业的发展。

移动终端是当前广泛应用的交互接口设备，而文本输入是最基础的人机交互任务之一。本项目以面向移动终端的自然文本输入方法为研究目标，着重研究了自然文本输入的运动控制建模，多通道输入感知和意图推理方法，AR 文本输入的反馈机制三项研究内容。本项目创新性地针对压力触摸表面、人体皮肤表面、空中交互等具有代表性的交互接口，建立了交互行为的时间-空间多维特征模型，首次引入了触摸压力等特征，量化提取了高噪声输入过程中的信噪比，描述了人进行文本输入行为的运动控制能力。同时，本项目提出了面向声音、压力等交互通道的触摸交互行为感知方法，实现了新型的文本输入方式，并融合概率推理与机器学习，提出了适应于高输入噪声的输入意图推理方法，可适用于广泛的移动终端输入设备上，提升输入性能。项目还实现了头戴式智能眼镜上基于眼动、表情等通道的多模态输入技术，对文本输入过程中的选择、控制等功能进行了进一步扩展。..本项目在国际上首次实现了面向帕金森用户的文本输入技术、手部可放置休息的文本输入技术等适用于移动终端的文本输入技术，让用户可在自然放松的情况下，实现高效、准确的文本输入。基于本项目所建立的运动控制模型和提出的意图推理算法，实现了智能手机输入、身体表面输入、智能头戴设备头动、眼动、表情输入、空中虚拟键盘输入等6种典型的移动终端交互场景下的自然高效文本输入解决方案和原型系统。本项目发表在国际人机交互高水平国际会议和期刊上的论文共6篇，全为CCF A类会议和期刊，申请发明专利3项，超额完成了项目申请书中的预期指标。本项目所研制的技术已经和正在应用于华为智慧输入法、搜狗输入法等拥有广泛用户群体的商业产品中。本项目培养的博士后和博士生分别获得清华大学优秀博士后和电子学会优秀博士论文，项目成果还获得了中国人工智能学会优秀科技成果奖、首届中国人因工程设计大赛一等奖荣誉。