盲文电子化阅读的触感建模与交互方法研究

The key-point in paperless reading of Braille is how to mimic and feedback the required tactile sense of fingers for the blind. Current implementation techniques can be broadly categorized into three major approaches: the mechanical simulation of Braille dots, the temporal Braille coding via vibration, and the feeding-back tactile sense of Braille dots via metaphors (e.g. electrical stimulus, etc.). In this project, we mainly investigate the e-reading of Braille on the device of touch screen via the frictional tactile feedback. The friction generated force can provide multiple levels of tactile feedback, thus can be used to design different types of interactions. The research on friction based tactile interactions has attracted significant attentions in the academic community recently when the touch screens are popularly employed in consumer devices. We will firstly construct an open platform to collect the experimental data based on the ultrasonic vibration, which is able to generate the force of friction while users moving finger on the device. Secondly, we will build up a computational model of human factors on tactile feedback, particularly on the human subjective touch sensitivity, the accuracy in the perception of the size and the distance of each Braille dots, etc. These factors will be examined via analyzing the sufficient data acquired from the open platform, and we explore how to present the friction-based entity of Braille and create novel elements for our e-reading interface of Braille. Finally, we will study the corresponding interaction techniques, particularly on the single-finger touch, multi-finger touch, gestures, etc., and implement a prototype system to demonstrate the e-reading of Braille on touch screen. Moreover, we make an assessment on the usability of our newly proposed e-reading method of Braille.

盲文电子化阅读终端主要有机械模拟、震动反馈，及电刺激反馈等三类，其中，电刺激反馈的精确可控等特点使其得到越来越多的关注。本项目拟采用超声振荡波电刺激，基于摩擦力触感建模，为智能手机等触屏移动终端探索出盲文电子化阅读新途径。拟搭建开放的盲文交互实验平台，探索盲人对滑动摩擦力所呈现的盲点大小感知精度、盲点之间距离的分辨能力等盲文电子化阅读要素，构建盲文触感呈现与感知反馈模型。针对盲文阅读中文字切换、导航浏览、添加标记等交互需求，从触屏点击、多指触控、手势运动、凹凸感知定位等多方面，探索新型盲文人机界面模型。在此基础上，设计实现盲文电子化阅读的原型系统，对触感盲文电子化阅读的相关理论、模型、方法进行验证。本项研究将有助于完善盲文电子化阅读方式，让盲人能够基于智能手机等日益普及的移动终端，随时随地进行盲文阅读，对盲人群体主动获得知识、享受移动互联网发展成果、融入正常社会等具有直接推动作用。

触觉感知计算与触觉交互界面是21世纪以来人机交互技术研究的重要内容。触觉交互相比于视觉、听觉交互具有独特的优点，例如可以实现非视觉的信息获取、视障人群触觉文字阅读等。其中设计触觉感知计算模型及触觉文字编码来传递语义信息是触觉交互技术研究的基础和关键。为此，本项目探讨摩擦力触觉技术在触屏移动设备上的技术模型，研究解决触觉阅读中的触觉纹理设计、触觉文字编码等问题。.主要研究内容包括：1）通过用户实验对基于摩擦力的条形纹理触觉进行数值量化估计和分类。主要探讨条形纹理的条纹宽度和条纹间距等参数对感知的影响。在此基础上建立条形纹理触觉感知模型。2）通过用户实验以及焦点小组反馈结果，建立手机上触觉的量化感知模型和触觉文字编码方案。3）设计在移动设备上触觉文字编码方案，结合触屏手势交互，设计高效、易学、易用的触觉文字阅读系统。.取得的重要结果包括：1）利用压电陶瓷片可在物体表面产生空气压膜现象，开发了一套基于摩擦力的手机触觉原型系统。2）研究了摩擦力触觉纹理设计中不同条纹间距设计对感知的影响，发现密集条纹的纹理更易于被感知和识别，用户可以高效的识别5种触觉纹理。3）提出了一个手机触觉交互设计模型。4）提出了共5种触觉文字编码方案。5）通过用户实验验证了触觉交互模型以及触觉文字编码方案的有效性，发现主动式触觉反馈用户体验更好，而被动式触觉反馈编码效率更高。.项目在理论研究上促进了触觉人机交互、心理学、用户界面设计的交叉研究，具有较强创新型。获取了触觉纹理设计数据集，可为非视觉交互，触觉文字编码、触觉安全输入等移动设备提供高效、灵活的用户界面设计支撑。同时，设计了多种触觉文字编码方案，可为信息的非视觉获取、盲人用户手机触觉阅读系统设计等提供参考。