自然姿态交互界面中的一致性问题研究

With the innovative interaction devices' emerging in the industry, the technology of natural gesture interaction becomes hotspot rapidly. But the interface of gesture interaction lacks an uniform description model，which leads that the gesture command cannot use across devices. The gesture recognition program lacks a guide of uniform frame，which leads that it cannot run across gesture set and ignore users' feelings. Therefore, this application proposes a research of uniform problem in the nature gesture interaction interface. Firstly, with the recognition elements of different cognitive level are introduced, that are abstract feature、steady-state feature、motion feature and user adaptively feature, the uniform description model of hierarchical gesture feature is created. Secondly, a hierarchical classifier network with feature auto-selected is constructed for the hierarchical feature on the basis of integrating the common gesture recognition methods. The training and recognition mechanism of this network is studied for suite to the different gesture set. Lastly, on the basis of classifier network, an adaptive gesture recognition frame is designed, which has a pattern of user feedback、training set change、feature re-selected and partial classifiers update. The research meaning of this application is the creation of a reliable industry model,which can provides theory basis for the research and application of gesture. And the application meaning is that the gesture interaction program can seamlessly running on the different device, for different application, for different user, so the study can reduce the workload of interface engineers and promoting the development of the natural gesture interaction interface.

业界创新交互设备陆续推出，自然姿态交互技术迅速成为研究热点。然而，姿态交互界面缺乏统一的描述模型，姿态指令无法跨设备使用；姿态识别程序缺乏统一框架指导，无法跨姿态集合运行，且忽略用户感受。因此，本申请提出自然姿态交互界面中的一致性问题研究：1）引入不同认知层面的识别元素，二次特征、稳态特征、运动特征和用户自适应特征，建立统一层次姿态特征描述模型；2）综合常用姿态识别方法，为层次特征构建特征自选择的层次分类器网络，研究该网络的训练与识别机制，使其适应于各类姿态集合；3）在分类器网络基础上，设计具有用户反馈-训练集变化-特征重选择-部分分类器更新模式的自适应姿态识别框架。本申请的研究价值在于塑造一个可信赖的行业模型，为姿态研究和应用提供理论依据；应用价值在于使得姿态交互程序可在不同设备、不同应用、不同用户上无缝运行，极大减轻姿态界面工程师的工作量，从而促进以姿态为核心的自然交互界面迅速发展。

业界创新交互设备陆续推出，自然手势交互技术迅速成为研究热点。然而，手势交互界面缺乏统一的描述模型，手势指令无法跨设备使用；手势识别程序缺乏统一框架指导，无法跨姿态集合运行，且忽略用户感受。因此，本项目进行了自然手势交互界面中的一致性问题的研究与应用，包括以下四个方面：1）研究设备的一致性采集目标，统一为手部关节点和肩肘关节点时空轨迹。提出基于视觉的实时高效的用户区分、手部分割、关节点检测的系统方案；各关节时空轨迹准确率均可达到95%以上。2）研究多层次的一致性手势特征。针对不同设备和不同场景，研究特征关联性，统一宏观角度的描述特征；将空间手势关键帧作为稳态特征，研究其最佳的抽取方法；结合手势设计阶段的用户自发数据，提出了自适应的特征选取方法。将这些特征应用在各类识别场景下，均能有效的减少非特定用户以及在不同应用背景下的手势误识别或失败次数，提高识别率。3）研究具有语义完整性并易于扩展的手势识别策略与一致性框架。设计了一种基于元数据的手势识别工具箱，提出了关注应用背景的多粒度手势识别方法，并给出了一种基于手部动作词语的手势理解框架；这些策略与框架可以应用到各类手势识别场景中，方便开发者编程，且具有很高的扩展性。4）积极进行成果转化和具体项目应用，在虚拟旅游和工业安全与仿真两个领域进行了应用示范。本项目的研究价值在于塑造一个可信赖的行业模型，为手势研究和应用提供理论依据；应用价值在于使得手势交互易于在各种设备、各种应用下使用，用户误识率低，极大减轻手势界面工程师的工作量，从而促进以手势为核心的自然交互界面迅速发展。