触控技术中的界面范式与交互关键技术研究

本项目研究适合触控技术的自然人机界面的两个方面的问题。一是研究适合触控技术的设计范式(paradigm)、交互范式和评估原则，以克服WIMP范式的不足；研究从以用户为中心的设计角度出发，基于认知理论分析与理解触控用户界面操作中用户的行为，研究并提出用户界面的中的交互范式和评估原则。二是研究在触控技术中的自然交互问题。通过眼动、空间手位置与运行轨迹、触击位置等属性，构建基于多通道的任务感知的交互技术，给出面向用户意图的捕捉和求解，使得系统呈现更加符合人的认知，降低用户认知负担；针对特定应用领域，面向金融自助服务中触控交互的迫切需求，根据范式与实验结果，结合相关领域知识及上下文的获取、整理、编辑与查询，改善交互环境，开发出适合触控技术的界面原型系统并给出可用性评估，提高领域应用效能。该项目研究的开展，为下一代自然用户界面的研究提供有力的理论基础和方法支持，实现若干原始创新,提升和推广触控技术。

根据项目任务，本研究工作主要集中触控技术的设计范式、交互范式和评估原则以及自然交互界面两个方面。取得如下进展：1）对主流的移动触控交互平台中的静态界面元素进行分类与归纳，抽象出了可以表征触控交互范式的元素。2）提出了基于Post-WIMP环境下的触控交互范式-PWIG范式。并从信息呈现和交互方式两个方面对PWIG范式的特点进行了描述和比较。3) 实验表明移动起止点和移动轨迹两种记录方式都较好地能够反映用户的真实意图，在给出移动方向提示的情况下，能够识别出的理论方向数为32。没有方向提示的情况下，能够识别出的理论方向数为16。4）实验研究表明手指移动UI设计中的建议选择顺序为第一象限、第三象限、第四象限、第二象限。5）根据Steering Law设计了在不同方向的隧道滑动实验，对手指的方向滑动进一步研究。结果显示用户隧道滑动也是具有方向差异性的，在0°方向进行隧道穿过实验时，可以得到更好的实验反馈，成功率最高；在120°方向进行隧道穿过实验时，很难达到用户满意效果。6）实验结果也指出，用户在沿着某一方向滑动时，宽度低于14px的滑动是很难得到较为满意的用户体验的。7) 针对特定应用领域，面向金融自助服务中触控交互的迫切需求，根据范式与实验结果，为改善交互方法，引入了基于上下文感知的解决思路，并在实现了基于立体视觉的触控改进技术的智能触控界面上，通过肤色检测算法分离摄像机图像中感兴趣的像素点，并通过提取轮廓、多边形最突出的点等找到最重要的指尖位置，由此判断用户意图，自动对相应按钮进行缩放，以提高触控界面的操作效率及降低其操作难度。研究给出了可用性评估，提高领域应用效能。8）实现了一个基于自然手势的WIMP应用触控系统的滑动光标技术，通过光标位置的不同实现对全屏无死角的目标选择操作。9）系统比较了在笔式和触控下，滑动滚屏方式和旋转滚屏方式的表现。研究表明，在笔式和手式输入下，滑动滚屏方式比旋转滚屏方式有更加良好的表现，说明了滑动滚屏方式在浏览文档任务上的优势。同时，对于笔式输入，旋转滚屏方式在长文档浏览比滑动滚屏方式表现更好，暗示了旋转滚屏方式的交互潜力。最后，这两种滚屏方式都符合Anderson模型。.研究工作完成了预定的各项任务，成果为下一代自然用户界面的研究提供较好的理论基础和方法支持，实验结果可以直接应用于触控人机交互与用户界面设计。