基于三维视觉及形状匹配的全自由度自然手势识别

Direct use of the hand as an input device is an attractive method for providing natural human-computer interact. To this aim, the research on vision-based hand gesture recognition is a key. However, limited by the tranditional 2D computer vision technology, current vision based hand gesture recognition systems suffer a series of challenges which have to be overcome for the widespread use of this technology. The main difficulties incldue uncontrolled environment, high-dimensional parameters, view dependence and self occlusions, processing speed in rapid hand motion tracking. This project is based on the color and depth images obtained by a depth camera. The key idea for hand gesture recognition starts from a virtual hand model, which is an deformable hand mesh driven by a full DOF skeletal model. We propose to use the template based posture estimation technique to fulfill the static posture recognition task. The 3D partial shape matching techniques are to be studied to obtain the set of full DOF joint parameters from the input partial hand surfaces. Based on the hand posture parameters, combining the location, orientation and kinematic parameters, we further study the problem of elastic matching between the template and the parametric trajectory for the input temporal posture. Automated hand caliberation problem will be tackled to improve the precision of a general purpose system. This research will provide the framework together with some key techniques for a three dimensional vision based hand posture and gesture recognition system.

基于视觉的手势识别是利用视频手势进行自然人机交互的关键。受限于2D计算机视觉技术的约束，目前基于视觉的手势识别系统在实际推广中还存在许多技术难点，主要包括复杂背景下的手势分割；手势模型的高自由度所带来的识别难度；视角与遮挡造成的识别准确度差；以及动态手势跟踪与识别中的计算复杂度等问题。深度摄像机的推广应用为手势识别带来了新的机遇和挑战。本课题基于深度摄像机所获取的3D视频手势，以全自由度关节模型驱动的三维动态可变形虚拟手网格建模为切入点，重点研究三维关节变形体的部分形状匹配技术，通过形状检索及模板匹配技术获得静态手形关节参数估计。以手形参数为基础，融合手势的位置、方向及空间运动轨迹，课题进一步研究基于虚拟手模型的动手势参数轨迹与参考模板之间的弹性匹配问题,并考虑人手校正，提高系统的识别精度，从而为基于3D摄像机的动静态手势识别系统提供关键技术和支撑框架。

近年来手势识别成为人机交互中一个比较热门的研究领域，先后出现了多种多样的识别方法。传统方法大多基于二维图像进行手势识别。相比于传统摄像机而言，深度相机能够提供更加丰富的几何信息，深度相机技术的不断成熟为基于深度图的手势识别带来了可能。在识别方面，深度图容易实现背景的剔除，能够解决识别多义性的问题，并提供精度更高的三维点云数据。然而目前深度图的识别也存在相当多的问题待解决，如计算复杂、噪声影响大，局部点云模型上的特征提取困难等问题。.. 本课题基于深度摄像机所获取的3D点云手势，重点研究了点云数据的去噪，特征提取以及三维关节变形体的形状匹配技术。课题以全自由度骨架模型驱动的三维可变形虚拟手网格建模为切入点，在建立的手势模板数据库的基础上，依靠曲率显著性特征算子，提取了模型手上的关键特征点作为特征进行形状匹配，从而获得了手形参数。以手形参数为基础，融合手势的位置、方向及空间运动轨迹，课题进一步研究了基于虚拟手模型的动态手势跟踪问题，为基于3D摄像机的动静态手势识别系统提供了关键技术和支撑框架。.. 目前所实现的手势识别系统可达到基本实时的手势识别速度（约每秒30帧），同时系统具有对噪声，手势速度变化等较强的鲁邦性。