基于虚拟环境的多通道可信交互研究

Believable interaction is one of the most essential requirements in Virtual Environments (VEs), where it can provide and maintain the sense of presence. However, the inconsistency of multimodal feedback in VEs (e.g. touch something, feel nothing), particularly with the individual differences of spatial perception, lead to degrading the believable experience. Thus, one of good ways to alleviate this issue is to match the multimodal feedback of the VE with user-centric design. However, the conventional methods such as subjective interview and task-oriented evaluation aimed to analyze the effects of the fidelity of visual, auditory and haptic feedback on believable experience. There is little work on measuring believable experience based on perceptual ability. Therefore, from the perspective of sensory and perceptual consistency, this project aims to investigate the real-time quantification of believable perceptual ability through the technology of Event-Related Potential (ERP). Combined with the subjective evaluation, it can further reveal the relationship between the believable interaction and the key characteristics of the multimodal feedback, so as to guide design believable experience with perception of virtual avatar. Based on the research results, this project will design target acquisition interface based on believability framework. The outcome of this project is expected to provide design guidelines for believable interaction in VEs.

可信交互体验是虚拟环境中最重要的需求之一，可以为用户提供并维持身临其境的感受。然而，由于虚拟环境中多通道反馈信息不一致(如触摸物体，无感觉反馈)，以及用户空间感知的差异性，导致用户可信体验变差。如何以用户为中心来匹配虚拟环境的多通道交互特征，可以有效地解决以上问题。但目前普遍采用主观问卷或任务差异性评估来分析虚拟环境的视觉、听觉、触觉等感官保真度与可信交互的关系，缺乏基于用户感知的多通道可信交互研究。因此，本项目从多通道感官与感知一致性角度出发，拟利用事件相关电位技术，对用户的可信感知能力进行实时客观测评，综合对比主观评估，进一步揭示多通道反馈一致性的关键特征与可信交互的量化关系，以便指导设计基于虚拟化身的感知可信交互，来提升用户体验。基于研究结果，本项目将实现基于可信交互模型的目标选择用户界面。本项目的研究成果将为虚拟现实可信交互提供理论依据。

可信交互体验是虚拟环境中最重要的需求之一，可以为用户提供并维持身临其境的感受。然而，由于虚拟环境中多通道反馈信息不一致(如触摸物体，无感觉反馈)，以及用户空间感知的差异性，导致用户可信体验变差。如何以用户为中心来匹配虚拟环境的多通道交互特征，可以有效地解决以上问题。但目前普遍采用主观问卷或任务差异性评估来分析虚拟环境的视觉、听觉、触觉等感官保真度与可信交互的关系，缺乏基于用户感知的多通道可信交互研究。因此，本项目从多通道感官与感知一致性角度出发，对用户的可信感知能力进行实时客观测评，综合对比主观评估，进一步揭示多通道反馈一致性的关键特征与可信交互的量化关系，利用可信交互框架指导设计基于虚拟化身的感知可信交互，进一步来提升用户体验。此外，本项目实现了基于可信交互模型的目标选择用户界面与虚拟移动交互界面。本项目的研究成果将为虚拟现实可信交互提供理论依据。.项目组已在CCF-A类\中科院一区顶刊IEEE TVCG、IJHCS、IEEE TII，及CCF-A类顶会IEEE VR 2020\2021等发表高水平期刊会议论文16篇（其中包括6篇CCF-A类\中科院1区期刊论文、4篇CCF-A类会议长文与海报、3篇CCF-B类\中科院2区期刊论文、2篇CCF-C类会议长文，项目负责人为第一与通信作者论文共15篇，其中第一标注论文8篇，第二标注论文4篇，第三标注论文2篇，第四标注论文1篇）；申请国家发明专利6项，授权2项专利；完成年度进展报告2篇、结题报告1篇；以本项目为基础，培养6名硕士研究生与9名本科生，获得省级大创立项、港澳台侨创新创业大赛二等奖、吴渔夫学术科创竞赛一等奖、并多次获得国家奖学金等。