基于视觉注意的手势交互技术研究

In order to solve the "Midas Touch" problem existing in vision-based gesture user interfaces, we provide a general solution and a unified platform based on the visual attention theory of cognitive psychology. Firstly, we propose a parallel perception model that combines bottom-up attention with top-down attention of human visual perception mechanism, which is considered as the theoretical guidance for continuous spatio-temporal dynamic gestures spotting and recognition. Secondly, we present a robust dynamic gesture recognition method based on selective attention, divided attention and sustained attention to provide a new perspective for solving the "Midas Touch" problem. Thirdly, we build a gesture toolkit and design a set of gesture interactive techniques, which is valuable for improving the interactive ability of vision-based gestures. Finally, we present a system prototype and experiment evaluation based on interactive digital television. Based on the research of this project, we are going to explore the new breakthrough point of cognivive psychology and computer vision, which is meaningful for the improvement of vision-based gesture user interface theories, methods and techniques.

视觉手势交互技术是自然用户界面的主流方式和热点问题之一。针对目前视觉手势交互中存在的"Midas Touch"瓶颈问题，从视觉注意感知模型、手势识别与交互技术以及应用验证几方面展开研究:（1）基于认知心理学what-where两条通路理论，构建融合自顶向下和自底向上注意的层次并行感知模型，以此来影响视觉注意，将注意吸引到显著的手势动作区域，为空间连续动态手势识别提供高层的理论指导;（2）基于视觉选择性注意、预注意和集中注意机制，提出一种鲁棒的空间连续动态手势识别方法，为视觉手势交互技术设计提供基础算法支撑和技术准备;（3）在总结现有视觉手势交互特征的基础上，面向交互式数字电视，设计出一套基于精确交互任务的视觉手势交互技术，提高视觉手势执行交互任务的能力。本项目对视觉手势交互理论的完善、创新性方法和技术的研究以及在各个领域的应用推广具有重要的理论和应用价值。

视觉手势交互技术是自然用户界面的主流方式和热点问题之一。针对目前视觉手势交互中存在的“Midas Touch”瓶颈问题，从视觉注意感知模型、手势识别与交互技术、平台和原型系统开发以及实验设计和可用性评估几方面展开研究:(1)基于认知心理学what-where两条通路理论，构建了一个融合自顶向下(top-down)和自底向上(bottom-up)注意的层次并行感知模型，以此来影响视觉注意，将计算资源分配到显著的手势动作区域，为空间连续动态手势识别提供高层的理论指导;(2)将整个视频处理过程划分为选择性注意(特征提取和特征整合)、预注意(为目标识别提供自顶向下的先验知识)和集中注意(自底向上的时空分割和模式识别)三个主要模块；并为三个主要模块设计开发了相应的算法和实现技术;(3)提出了一套以用户为中心的手势设计开发方法，并给出了系统的论证和实验结果;(4)开发了一个视觉手势识别工具箱(Visual Gesture Recognition Toolkit, VGRT),并开发了一套手势交互技术，包括单/双手识别，静/动态手势识别，离线/在线手势识别等多种类型。开发了一系列手势交互系统原型。本项目对视觉手势交互理论的完善、创新性方法和技术的研究以及在各个领域的应用推广具有重要的理论和应用价值。