基于多点触摸的桌面协作交互模型与交互方法研究

以基于多点触摸的桌面协作交互为研究对象，建立面向多点触摸桌面协作交互的层次模型。该模型从物理层、信息层、认知层和社会层对桌面协作交互进行描述，具有通用性，也可以用来描述其它协作交互任务。在该层次模型的基础上，针对基于多点触摸的桌面协作交互，在信息层研究双手手势的定义与识别，完成多点触摸桌面交互的机器功能；在认知层，研究手势动作到交互任务对象的映射，完成机器功能向人的认知的转换；在社会层，研究基于分区的协作机制，完成协作与共享。最后，采用实验研究的方法，对多点触摸协作交互的感知效果进行评估。本项目的研究可以为基于多点触摸的本地同步协作任务的实现提供理论和方法上的支持。

随着信息技术的发展，人机交互已经由单人单机的交互，逐步扩展到了多人、多组织的多角色协作交互。传统图形化界面的单点触摸交互仍然是一种“指点”操作，用手指简单代替鼠标，而鼠标键盘等输入设备是时间多路（Time-multiplexed），仅能在不同的时间上控制不同的功能，无法有效的支持多人的协作交互需求。有效的交流是多人协作交互的基础，而面对面的接触和沟通是最复杂但是又最有效的交流机制，也是实现共享知识、共享感知、共享理解的最好方式。随着多点触摸技术的出现，使得计算机支持的“桌面协作”成为可能，人们可以像传统的围绕一张桌面进行协同工作一样，通过多点触摸平台提供的协作交互环境完成协作任务。多点触摸是空间多路（Space-multiplexed）的输入设备，可以支持多人的同时信息输入，保证对在同时对不同的功能进行控制。本项目以基于多点触摸的桌面协作交互为研究对象，依据协作交互行为发生的基础，建立了基于层次模型的协作交互行为描述，将协作交互模型从物理层、信息层、认知层和社会层四个层次进行描述，具有通用性，并在层次模型的指导下分析了基于多点触摸的计算机支持桌面协作交互。在信息层，通过研究触摸手势交互的行为学与心理学原理，给出双手触摸交互的行为特征和认知特征，进而完成双手手势的定义与识别，以实现多点触摸桌面交互的机器功能；在认知层，研究手势动作到交互任务对象的映射，完成机器功能向人的认知的转换；在社会层，以面向态势感知的桌面协作机制为研究对象，在对人员和物件建模的基础上，提出了面向态势感知的桌面分区协作机制，将桌面分为私人区、存储区和公共区。分析了桌面协作过程中可能遇到的冲突类型，提出了相应的处理方法，建立了桌面协作系统的界面设计规则和人员行为规则并设计了桌面协作实现的输入/输出管理系统。最后采用可用性评估的方法对多鼠标平台和多点触摸平台进行对比分析，通过设计和实施可用性评估实验获得体现平台协作感知性能的数据，结合实验数据进行统计学分析处理的结果，和实验参与者对于两种平台操作体验感受与评价的问卷调查的结果，分析多鼠标平台和多点触摸平台在协作交互过程中协作感知方面的区别，以定量的方式反映多点触摸桌面协作带来的协作感知效果改善。本项目的研究可以为基于多点触摸的本地同步协作任务的实现提供理论和方法上的支持。