基于移动眼动跟踪的自适应分布式用户界面研究

Face to the development of ubiquitous computing and internet of things (IOT), interaction tasks are to be completed with the collaborations of multi-interfaces in the multi-devices oriented environment. We utilize the mobile eye tracking method to explore the selective attention and the eye-movement. Then we describe the distributed framework by the network of visual attention, and construct the Bayes Network to infer the user's intention. We set up the relation descriptions and decision tables for the user's intention, context and interface pattern, and obtain the transition rules of interface pattern by reducing the decision attributes with the rough sets. To minimize the cognition's workload, we drive the transitions of interface pattern, which includes the visualization and interaction, to make adaptations. This implements the natural interaction, and improves the user experience with the multi-devices. Our project is innovative, as it is the .interdisciplinary research for human computer interaction, psychology, and interface design. At the same time, it will supply the efficient user interface for the intelligent house systems and so on, and promote the IOT companies to develop their technology for the distributed interactive applications.

随着普适计算、物联网技术的发展，交互任务需要在一个多设备环境中依靠分布式的界面协作完成。本项目采用移动眼动跟踪方法，研究用户在分布式界面空间中的选择性注意机制和眼动调节行为，对界面分布架构进行视觉注意的网络化描述，建立贝叶斯网络模型进行用户交互意图的推理。在此基础上构建交互意图、交互情境与界面模式之间的映射关系及其表征的决策表，采用粗糙集方法约简决策表得到界面模式转换规则，以认知负荷的最小化为目标，驱动包括可视化与交互方式在内的界面模式自适应触发与转换，实现分布式界面的自然人机交互，增强多设备交互协作中的用户体验。该项目促进人机交互、心理学、界面设计的交叉研究，具有较强的理论创新性；同时可为智能家居、智慧医疗等物联网应用系统提供高效、灵活的界面支撑，促进物联网企业对分布式交互系统的技术开发和创新实践。

随着普适计算的迅速发展，人机交互活动已经不再局限于桌面系统这样相对单一、固定的用户界面上，交互任务需要在一个多设备的计算环境中依靠多个用户界面共同完成。如何将众多界面形成一个有机的协作体，让用户根据自身需要在不同界面之间进行选择、切换和组合，已经成为一个新的挑战。为此，本项目应用移动眼动跟踪技术分析用户在多设备协同人机交互活动中的视觉注意机制，结合分布式用户界面模型，研究解决界面分布架构中信息的自适应传输、显示和交互问题。主要研究内容包括：一、面向可移动和多设备交互的眼动跟踪技术研究。为了开发计算效率和精度较高的眼动跟踪技术，提出从人脸到瞳孔逐级推进的图像处理框架和具体检测方法。进一步，针对用户眼球运动幅度显著变大给图像处理带来的影响，采用待选瞳孔区域和瞳孔中心识别相结合的方法识别瞳孔，同时插补识别过程中丢失的普尔钦斑，并利用边缘检测方法识别不同设备屏幕。二、研究了眼动参数计算与交互意图推理技术。研究用户在分布式界面空间中的选择性注意机制和眼动调节行为，将眼动跟踪数据进行参数化建模分析，结合视觉注意中的自底向上和自顶向下机制分析注意对象的分离和注意焦点的转移，推理用户交互意图。三、研究了分布式用户界面自适应交互方法。基于眼动数据计算构建交互意图与用户界面模式之间的映射关系，制定用户界面模式触发和转换规则，实现自适应交互。取得的重要结果包括：提出了用于移动设备人机交互的眼动跟踪方法、面向多设备交互的眼动跟踪方法、基于眼动跟踪的多设备分布式界面人机交互技术、基于眼动跟踪的交互意图判断技术、基于移动设备的眼动跟踪技术等，并开发了基于眼动跟踪的跨设备阅读辅助应用原型系统、基于智能手机的眼动跟踪阅读辅助原型系统等验证系统，用户测试结果表明，这些系统在跨设备交互环境下能有效地提高注视点计算精度，并支持信息在不同设备上的自适应传递和集成，特别是自动注释、最后注视点提示等自适应交互功能，能提高用户操作绩效和主观体验。该项目在理论研究上促进了人机交互、心理学、用户界面设计的交叉研究，具有较强创新性；同时，可为智能家居、智慧医疗、智慧学习等物联网应用系统提供高效、灵活的用户界面支撑，促进物联网企业对分布式交互系统的技术开发和创新实践。