沉浸式环境下自然手势交互理论、方法与关键技术的研究

Immersive environments, such as VR and AR, require more natural interaction techniques like vision-based gestural interaction. However, vision-based gestural interaction still faces some challenges, including “Vocabulary Disagreement”, “Midas Touch”, “Eye-Hand Separation”, and “Gorilla Arm Effect”. To address these problems, this proposal explores new theory, method, key technology and application for vision-based gestural interaction in immersive environments. First, we study end-user’s mental model and behaviors, and then propose a consistent measurement model based on probability distribution for the design of gesture vocabulary; Second, we construct a parallel perception model that combines bottom-up attention and top-down attention, and then develop a new recognition algorithm for complex gestures based on this model. Third, we study the probability distribution of gesture feature space, and then design a set of gesture visualization technologies based on incremental prediction model. Fourth, we propose a quantitative evaluation model for measurement of gesture fatigue. Finally, we design and develop a gesture-based virtual decoration system and evaluate our theory and method based on this system prototype. The purpose of this project is to explore the new breakthrough point of cognitive psychology, information visualization, biology and computer vision. This project has important theoretical and practical value for the application of vision-based gestural interaction for immersive environment and other application domains.

诸如VR或AR的沉浸式环境要求更为自然的交互手段如视觉手势交互，但基于视觉手势的交互目前面临着“词汇分歧”、“点石成金”、“手眼分离”和“大猩猩臂”等新的问题和挑战。针对以上问题，本项目从理论、方法、关键技术和应用验证几方面展开研究：1）研究用户心智模型与行为规律，提出一个基于概率分布的手势词汇一致性度量模型，并设计一套沉浸式环境下的自然手势集；2）研究视觉注意的工作机理，构建一个融合自顶向下和自底向上的双层并行感知模型，开发一套鲁棒的复杂手势识别算法；3）研究手势特征的空间概率分布规律，实现一套基于增量预测模型的手势可视化技术；4）研究胳臂的受力机制，提出一个基于生物力学原理的手势疲劳度量化评估模型；5）开发一个沉浸式环境下基于手势的家居装修系统并进行用户数据的采集和应用验证。本项目对视觉手势交互理论的完善、创新性方法和技术研究以及在沉浸式环境等领域的应用推广具有重要的理论和应用价值。

尽管视觉手势交互技术在近年来得到了学术界和产业界的广泛关注并取得了很多重要的成果，但是这种技术还存在很多问题需要解决，尤其是在基于虚拟现实VR或者增强现实AR的沉浸式环境下，视觉手势交互目前面临着“词汇分歧”、“点石成金”、“手眼分离”和“大猩猩臂”等新的问题和挑战。为了解决以上问题，本项目从理论、方法、关键技术和应用验证等多个维度系统地展开深入研究。本项目的主要研究成果包括以下几个方面：1）研究了用户心智模型与行为规律，提出了一个基于概率分布的手势词汇一致性度量模型，并设计了一套沉浸式环境下的自然手势集；2）研究了视觉注意的工作机理，构建了一个融合自顶向下和自底向上的双层并行感知模型，开发了一套鲁棒的复杂手势识别算法；3）研究了手势特征的空间概率分布规律，设计实现了一套以用户为中心的无眼交互技术；4）研究了胳臂的受力机制，提出了一个基于生物力学原理的手势疲劳度量化评估模型；5）开发了一个沉浸式环境下基于自然手势交互的虚拟家居购物系统并进行用户数据的采集和应用验证。课题组共发表学术论文15篇，出版学术专著2部，取得专利和软件著作权各1项。其中，15篇学术论文中有13篇发表在人机交互领域国际知名SCI期刊上（JCR 1区5篇，2区7篇，3区1篇），另外2篇分别发表在CCF推荐A类中文核心期刊和北大中文核心期刊上。项目组培养了人机交互方向研究生10人。除此之外，项目组成员参与了多次国内外人机交互学术会议，并受邀做专题报告。总的来说，本项目对视觉手势交互理论的完善、创新性方法和技术研究以及在沉浸式环境等领域的应用推广具有重要的理论和应用价值。