基于Pareto优化查询的视觉手部跟踪与3D姿态估计方法研究

Vison-based hand tracking and pose estimation is the basic work of realizing harmony and intelligent interaction and has the potential of great commercial value. In this project,combining with research achievements on pattern recgonition and computer vision, we will focus on developing novel and practical techniques which based on appearance-model and improve the real-time and robustness of interaction.Specifically, we will construct the graphical model by using the correlation between image features to improve accuracy of hand tracking. While the introduction of Pareto-optimality image matching problem is formulated as multi-objective optimization,which will fuse the Homologous and heterogeneous image feature and multi-view image search in efficiency. Besides, the estimation results are weighted by temporal consistency in Pareto fronts which could enhance the accuracy.The project will play a positive role in approaching an artificial cognitive system that is able to better meet the needs of human-computer interaction. In addition, laying a better foundation for computer mode and methodology of the understanding of the visual information under complex environment.

手部视觉跟踪与姿态识别是实现和谐、智能人机交互的基础工作并具有潜在的巨大商业价值。本课题结合模式识别和计算机视觉领域的研究成果，引入图模型和Pareto-optimality算法，研究和建立基于表观模型下的手部3D跟踪和识别新的计算模型和计算方法，提高交互过程中的实时性和鲁棒性。具体而言，利用图像特征的相关性建立图模型，提高跟踪识别过程的准确性；引入Pareto-optimality算法将图像匹配问题转化为目标优化查询，解决多源异构特征融合问题和多视点空间搜索，提高算法效率，并利用Pareto最优点进行姿态时序一致加权提高动态手势识别精度。本项目的开展不但能有效提高计算机感知能力，更好满足实际交互需求，还可为复杂环境下视觉信息的理解提供新的计算模型和研究思路，为相关基础理论作出贡献。

在人机交互技术领域，基于视觉的手部交互技术凭借良好的舒适性和自然性被广泛研究和应用。但基于视觉的方法容易受到外部环境和自身因素的干扰，影响交互性能。本课题在表观模型框架下，通过引入Pareto优化查询方法对视觉手部跟踪与姿态估计方法中的关键技术进行了研究。课题从传统手工特征和卷积特征两个方面入手，探索了多源特征表征与融合机制以建立有效的手部描述方式；为提高跟踪效率，在相关滤波框架下，利用Pareto优化查询方法提出了基于多源特征子模型自适应融合策略下的手部视觉跟踪方案，并建立目标重检机制减少漂移发生概率，提高跟踪准确性；同时采用基于检测的跟踪定位方法提出Hand Saliency Network（HSN）手部检测网络，提高手部检测精度；设计了梯度局部二值模式(OG_LBP)构建手势特征数据集，提出利用Pareto优化查询进行多视点并行搜索策略完成表观模型下的手部姿态查询，并进一步基于深度神经网络提出一种降维融合方法结合网络浅层和深层卷积特征增强特征鲁棒性，再利用Pareto优化查询方法实现双视点手部姿态识别方法提高手部识别效率。项目组在相关期刊和会议发表论文9篇，申请发明专利1项。项目研究内容隶属目标跟踪和目标识别领域，项目相关研究成果可应用于智能视频监控、行为分析和视频摘要提取等领域。