基于协同式视觉注意的认知计算与交互技术研究

With the development of computer supported collaborative work and social computing, human-computer interaction is not limited to the individual user centered interaction space, and interaction tasks need to be completed in the collaborative environment with multiple users. This project will analyze the selective visual attention in the collaborative interaction activity, and obtain the visual attention resource from the eye movement data, such as gaze fixation, saccade trajectories by eye tracking, and setup the interaction environment filled in collaborative visual attention for multiple users. Through the shared visualization, user can map other users’ visual attention resource based on factors, such as own task goals, preference. Make fusion of eye movement and EEG data, so as to compute cognition for users in the environment of collaborative visual attention. And then model the social network with extracting the users’ social context information, and dynamically configure the collaboration patterns and contents by the analysis, such as link prediction. Later, we can optimize the sharing ways and visualization of visual attention resource, and it can reduce user’s cognitive workload and improve the quality of collaboration. This project is innovative, as it is the interdisciplinary research on information science, cognitive science and behavior science. At the same time, through the prototype system build for this research, it will be applied as a key technique in several domains, such as collaborative design, online education, car driving and medical image analysis, and promote related industry to develop innovation practice.

随着计算机支持的协同计算、社会计算的发展，人机交互活动已经不再局限于单个用户为中心的交互空间，交互任务需要在多用户协同环境下完成。为此，本项目分析多用户在协同交互活动中的选择性视觉注意机制，通过眼动跟踪获取注视点、眼跳轨迹等眼动特征参数表征的视觉注意资源，建立面向多用户的协同式视觉注意资源交互环境。通过可视化共享让用户根据自身的任务目标、偏好等因素匹配其他用户的视觉注意资源。进一步，融合眼动跟踪和脑电数据对协同式视觉注意作用下的用户认知进行计算，并通过提取社会上下文进行社会网络建模，利用链接预测等分析方法对协同模式和内容进行动态配置，进而优化视觉注意资源的共享路径和可视化形式，降低用户认知负荷，提高协同工作质量。该项目促进信息科学、认知科学、行为科学的交叉研究，具有较强创新性；通过原型系统的应用，在协同设计、在线教育、汽车安全驾驶、医疗影像分析等方面提供技术支撑，促进相关产业的创新实践。

随着计算机支持的协同计算、社会计算的发展，人机交互活动已经不再局限于单个用户为中心的交互空间，交互任务需要在多用户协同环境下完成。本项目主要从基于眼动跟踪数据的协同式视觉注意与交互、融合眼动与脑电数据的认知计算与交互、社会网络驱动的多人协同交互这三方面开展相关研究，在关键方法和技术上取得了一系列具有创新性的成果，主要包括：提出了基于脑电与眼动数据融合的认知计算模型与协同交互方法、融合眼动与脑电数据的用户界面优化设计方法、基于深度学习的运动想象脑电分类模型与交互技术、协同注意机制下的眼动数据可视化交互方法、跨设备的视觉注意计算与交互任务模型、移动设备交互环境下的注视点感知计算方法等，并开发了基于眼动跟踪的多用户协同交互应用原型系统、眼动和脑机融合的协同交互原型系统等验证平台，并通过用户测试和应用验证了其可行性和有效性。在高水平的国内外学术会议和期刊上发表了20多篇论文，申请和授权了近10项发明专利和软件著作权，获得行业重要奖项，具有较高的学术和应用价值，在同行中具有积极影响。该项目促进信息科学、脑科学等科学的交叉研究，具有较强的创新性，并在智慧教育、协同设计、运动康复等方面提供技术支撑，与相关企业开展了成果转化和应用，能有效降低用户认知负荷，提高协同工作质量，促进相关产业的创新实践，具有广阔的应用前景。