无需视觉注意力的文本输入方法研究

Text entry methods on touchscreen usually require the participation of visual attention. However, with the development of mobile and wearable technologies, computing is gradually woven into our daily lives where the interaction systems sometimes cannot or are not convenient to provide visual feedback. In this project, we research text entry methods requiring no visual attention. The basic idea is to leverage users’ muscle memory developed from long-term keyboard use to input text, so as to get rid of the dependence on visual feedback. But due to the absence of visual feedback, the pointing ability of users would be affected, and the touch points would be of much uncertainty. To address this, the core of this project is to model users’ ability of text entry with no visual feedback, and to take advantage of the language model to infer the input intention of users. Specifically, there are four research contents: 1) The principle of movement control with no visual feedback; 2) The accuracy of movement control with no visual feedback; 3) Model parameter prediction and adaptive mechanism of user input behavior; 4) Augmented algorithms of text entry prediction and correction. In this project, the research on human capacity of movement control with no visual feedback is an important extension of existing movement control theory; The text entry methods requiring no visual attention expected to obtain are of great value for practical application.

触屏上的文本输入方法通常都需要视觉注意力的参与。然而，随着移动和穿戴等技术的发展，计算日益融入日常生活，其交互系统有时不能或者不便提供视觉反馈。本课题研究无需视觉注意力的文本输入方法，其基本思想是利用人们长期使用键盘形成的肌肉记忆完成交互，从而摆脱对视觉反馈的依赖。但是，由于缺少视觉反馈，用户的点击能力将受到影响，点击位置将表现出极大的不确定性。为此，本课题的核心是对人们在无视觉反馈条件下的文本输入能力进行建模，并在此基础之上利用语言模型来推理用户的输入意图。具体而言，本课题包括4项研究内容：1）无视觉反馈条件下的运动控制原理；2）无视觉反馈条件下的运动控制精度；3）输入行为模型参数预测和自适应机制；4）增强的文本输入预测和容错算法。本课题对无视觉反馈条件下运动控制能力的研究是对现有运动控制理论的重要补充，课题期望获得的无需视觉注意力的文本输入方法具有广泛的实际应用价值。

本项目以无需视觉注意力条件下的文本输入为研究目标，着重研究了用户在无视觉反馈条件下的运动控制原理，运动控制精度模型，输入行为模型参数预测和自适应机制，和增强的文本输入预测和容错算法四项研究内容。本项目在国际上首次实现了全盲状态下的文本输入技术，让用户仅凭借空间记忆和肌肉记忆就可以准确输入文字。基于本项目所建立的相对运动控制模型和自适应运动控制参数估计，实现了面向VR输入、远程输入、超小键盘输入、双手盲输入、手机上地遮挡键盘输入、盲人键盘、平板电脑双拇指输入、远程滑行输入、任意表面上的文本输入、单手文本输入等10种典型自然交互场景下的提供无需视觉注意的文本输入解决方案和原型系统。本项目发表在国内外人机交互领域重要学术刊物和国际会议上26篇,其中CCF A类论文21篇，申请了6项技术发明专利,软件著作权4项,所获得无需视觉注意力的文本输入方法接近或者达到有视觉注意力文本输入方法的速度和精度，圆满完成了项目申请书中的预期指标。.本项目所研制的核心技术应用在搜狗和华为的实际产品中，显著提升了文本纠错能力，日活用户超过3亿；研发出世界上第一款面向视障用户的智能键盘，与2020年3月与搜狗联合发布，获得较好的影响力；本项目两位成员的毕业论文分别获得中国计算机学会和中国电子学会的优秀博士论文；并获得了2019年电子学会科技进步一等奖。.