笔+触控界面关键人因问题和交互策略的研究

Pen+touch interfaces fuse advantages from pen-based and multitouch interactions, which effectively solve the "fat-finger" problem inherently existed in multitouch interfaces, widen the input bandwidth and accord with the trend of human-computer intelligent interactions. Pen+touch interactions are still at the stage of notional study, being lack of a comprehensive theory system. Moreover, the combination usage of different kinds of input modalities often leads to unneglected human factor problems, which is different from that of traditional human computer interfaces. This project will thoroughly investigate these issues through the following three aspects: first, we will examine the human abilities to control the multiple input modalities in the pen+touch interactive manner, propose an optimal mapping between the original input and user-controlled variable, study fusion algorithms of combinations of input modalities and present novel hybrid gesture design techniques. Secondly, we will investigate an interactive paradigm of pen+touch interfaces and principles of user interface design and assessment, thoroughly considering relevant human and cognition factors. Thirdly, we will propose a novel model for the key interactive task because, so far, there is still not universal ergonomic model for pen+touch interfaces. The project will provide the powerful theory and design techniques for natural user interfaces, acheive a number of original innovations and enhance pen+touch interactions.

笔+触控界面融合了笔式和触控界面的交互优势，有效地克服了触控界面中固有的"肥手指"问题，拓宽了计算机信息输入通道，符合人机交互的智能化发展方向。笔+触控交互目前处于概念性研究阶段，缺乏完善的基础理论体系，同时不同类型的输入模态（例如模糊和精确输入）的组合使用常常引起有别于传统人机界面的，不容忽视的人因问题。本课题主要从三个方面对此加以深入研究：一是研究在笔+触控交互模式下用户对多输入参数的控制能力，并给出参数初值和交互控制量之间的最优映射关系曲线，研究多输入模态的耦合算法，提出混合手势设计方法；二是结合界面中的人因工程、认知心理方面的重要问题，研究笔+触控界面交互范式、用户界面设计和评估原则；三是对关键交互任务提出一个新的模型，解决此领域至今尚无一个被广泛接受的人体工效理论模型的问题。本课题为下一代自然交互界面研究提供有力的理论基础和方法支持，实现若干原始创新，提高和推广笔+触控界面技术。

笔+触控界面融合了笔式和触控界面的交互优势，拓宽了计算机信息输入通道。建立与研究基于异步条件下的笔+触控双手交互点击任务人类工效学模型，通过对不同任务复杂度下的一维异步笔+触控双手点击任务实验证明该模型对于异步条件下的笔+触控双手点击任务具有很强的有效性和适用性；设计新式的混合手势技术，提出了6种笔和触控配合的混合手势设计方法；在笔和触控结合的操作方式上，对基本手势进行拓展，形成一种基于压力操作的双手拓展手势；通过把笔压和触控结合使用的方式对离散目标选择方法加以改进设计并实现了基于笔+触控的3D桌面（desktop）系统；将压力引入到笔+触控交互中时，设计实验去研究用户在此类交互中对压力的控制能力，设计了基于压力的轨迹操作任务，采用的是Steering law中基本的直线型任务和圆形任务，在不同的压力分辨率（通过压力区间分层来考察）条件下，用户执行基于压力控制的轨迹任务。通过对实验数据的采集与分析来研究用户在此类交互中的人因问题；通过实验证明了手指（bare finger）执行轨迹任务时也符合Steering law；同时考察了惯用手（dominant hand）和非惯用手（non-dominant hand）执行轨迹任务时的差异性。