基于反馈控制的动态手势识别联合优化模型研究

Dynamic hand gesture recognition is one of the fundamental problems in computer vision and pattern recognition. There are two important drawbacks in the traditional methods which are "local optimization" and "lack of apriori information". This project proposes a novel united optimization model based on feedback control aiming to solve these two problems. This model can achieve the global optimization because it employs global formulation to include hand tracking, hand segmentation and recognition into a united framework in which all the parameters are resolved under the global model constraints. Meanwhile, kinds of apriori information are introduced into the model with the help of the feedback mechanism on the basis of the intermediate prediction results and the structure and parameters of the model are dynamic updated accordingly. This model is robust, efficient general-purpose and it can be used to promote the development in various computer vision applications. In this project, we select action recognition and character recognition as case study to demonstrate the superior of the proposed model.

手势识别是计算机视觉研究及应用等领域中核心和基础性的问题，针对传统方法存在的“局部优化”和“先验信息缺失”两个重要问题，本项目提出了一种新的基于反馈控制的动态手势识别联合优化模型。该模型采用全局建模及优化方式，将手势跟踪、手势分割和识别建模到统一的识别框架中，在满足整体模型约束的条件下求解各个部分参数，从而实现了模型的全局优化。此外，利用反馈机制根据预测的中间结果将多种先验信息引入到模型中，并对模型的结构和参数进行动态更新，解决先验信息缺失的问题。该模型具有良好的鲁棒性，高效性和通用性，不依赖于特定的问题，计算快速有效，能广泛应用于行为识别、文字识别等相关领域，将极大的促进计算机视觉领域中以对象识别为核心的多种应用的发展。

手势识别是计算机视觉研究及应用等领域中核心和基础性的问题，针对传统方法存在的“局部优化”和“先验信息缺失”两个重要问题，本项目提出了一种新的基于反馈控制的动态手势识别联合优化模型。该模型采用全局建模及优化方式，将手势跟踪、手势分割和识别建模到统一的识别框架中，在满足整体模型约束的条件下求解各个部分参数，从而实现了模型的全局优化。此外，利用反馈机制根据预测的中间结果将多种先验信息引入到模型中，并对模型的结构和参数进行动态更新，解决先验信息缺失的问题。该模型具有良好的鲁棒性，高效性和通用性，不依赖于特定的问题，计算快速有效，能广泛应用于行为识别、文字识别等相关领域，将极大的促进计算机视觉领域中以对象识别为核心的多种应用的发展。. 本项目提出一种基于注意力机制的半监督静态手势检测和识别方法，在检测精度、识别精度以及召回率等方面都具有更优异的性能。在此基础上，提出一种基于姿态锚点的姿态检测网络，借鉴检测框架Faster RCNN，将其中采用的框锚点升级为姿态锚点，并采用了一种称为目标关键点相似度的度量方式另来区分正负样本，精度和速度都超过了目前最好的方法。. 为了在连续动作序列中进行识别，本项目提出一种基于边界概率的级联动作检测模型，通过在提出的动作边界概率预测模型后面级联一个基于长短期记忆网络的边界概率微调模型对边界概率进行修正，可以获得高质量的动作候选片段。该方法在召回率和准确率两项指标上获得目前最好的性能。. 步态识别与手势识别同属于非刚性物体的姿态识别问题，本项目提出了一个用于步态识别的上下文敏感的时间特征学习网络。该方法的核心思想是根据时间维度的上下文信息整合多尺度时间特征，从而实现不同尺度之间的信息交流。此外，在时间建模的研究过程中，该方法讨论了连续帧上的空间不对齐问题，该问题还未被其他文献研究过。该方法的识别精度是目前最好的性能。