基于手势自然交互的增强视域信息感知融合机理研究

The augmented vision field is formed by superimposing virtual information and real scene information in an augmented reality (AR) system. The gesture natural interaction is an interactive method with both practicality and reliability in the augmented vision field. Faced with the information separated perception problem in augmented vision field, the research is carried out from the following aspects: the correlation mechanism between gesture natural interaction and AR interface display and control, the visual presentation and interaction strategy, and the ergonomics evaluation model of AR information system. The study focuses on the role of deep cues in the perception of depth perceived performance and the balance between the naturality and saliency of gestural natural interaction. The study combines theoretical research, experimental research and design demonstration, and comprehensively employs theories and methods of information science, ergonomics, design science, cognitive and experimental psychology. The expected results cover the natural interactive semantic library that conforms to physiological characteristics and psychological consistency, and the AR ergonomic evaluation model with evaluated factors of usability, ease of use, cognitive load and fatigue. The research results would be applied to the national major information system project, and strive to fill the gap between people's perception fusion research in AR, and provide a bridge between technologies and applications for the large-scale coverage of AR in the 5G era.

增强视域是人在增强现实系统中叠加虚拟信息和实景信息所构成的视域空间，手势自然交互是增强视域下兼具实用性与可靠性的信息交互方式。针对增强视域信息感知分离问题，在手势自然交互与增强现实信息界面显控之间的关联机制、增强视域中信息交互界面视觉表征与交互策略、增强现实信息交互界面的工效学综合评价模型构建三个方面展开研究。研究重点关注深度线索对深度感知绩效的作用机制和手势自然交互的自然性和显著性之间的平衡问题。研究将理论研究、实验研究与设计实证相结合，综合运用信息科学、人机工效学、设计科学、认知与实验心理学的理论和方法。可得到符合生理特征和心理一致性的增强视域自然交互语义库，以可用性、易用性、认知负荷和疲劳度为评价因子的增强视域适用性评价模型。项目研究成果将应用于国家重大信息系统工程，力求填补增强现实中人的感知融合研究的空白，为5G时代下增强现实的大规模覆盖提供技术和应用之间的沟通桥梁。

本课题针对手势自然交互中增强视域空间、语义和交互上的感知融合问题，将理论研究、实验研究与设计实证相结合，综合运用计算机科学、人机工效学、设计科学、认知心理学、实验心理学的理论和方法，在交互手势设计、手势界面显示、手势系统评价等方面展开研究。项目主要完成了下述工作，并取得了相应研究成果:.1）研究从人的交互行为和三维视觉显示两个可观测的因素入手，在手势输入子系统中提取出手势自然交互的三种基本交互形式，并测定了手势交互方式的空间阈值和手势交互操作动素；在手势输出子系统中提出基于显控关联机制的手部自然交互三维信息界面设计规则。.2）研究兼顾人和计算机的理解和识别，设计了人机交互手势编码表征方法，将连续型动作行为空间映射到离散型心理语义空间，并构建具有可解释性的编码规则。将功能语义的单一影响因子的启发式手势设计扩展为功能语义、动作尺度、工作记忆三个影响因子，并规范化人机交互手势设计流程。.3）研究构建了基于手势交互的人机系统绩效评价模型H-GOMS，该模型包含分析、分解、配置、获取、评估五个模块，在串行的基础上，依靠选择规则规避并行处理问题，实现在时间维度上的任务分析绩效评价。.4）研究将手势编码和手势识别及评价方法的理论成果编写为手势设计软件，搭建起理论研究与设计应用的桥梁。基于unity平台开发了基于启发式自然手势设计的推荐系统软件和基于H-GOMS模型的手势交互系统评估软件，可以实现手势设计辅助和手势系统绩效的实时可视化评估。.5）研究成果发表第一标注的学术论文22篇，其中被SCI收录8篇，被SCI源刊已录用2篇，被EI收录11篇，出版专著1部；参加国际会议10次，在全国学术年会上做报告3次；研究成果申报并公示国家发明专利10项，授权实用新型专利1项，并取得1项软件著作权；并资助了16名硕士生的论文，其中10人已毕业获得学位。