基于超像/体素图的手势识别方法研究

Hand gesture recognition has become an active topic of research due to its potential applications in contactless human-computer interaction (HCI), which has received great attention from the governments and companies in recent years. Although there is considerable progress in this area, the diversity between hand gestures and complicated environment post great challenges for researchers. Thus it is urgent to develop a new hand detection and gesture recognition algorithm with robust, high accuracy and real-time performance. In this project, we will address this problem in three aspects, i.e. hand detection and preprocessing, static and dynamic hand gesture feature detection and corresponded distance metric and development of real-time HCI system. First color, depth and infrared images are jointly utilized to preprocess the hand samples in order to perform robust hand detection. Based on the superpixel/supervoxel segmentation and conventional earth mover’s distance (EMD), novel distance metrics, superpixel graph earth mover’s distance (SPG-EMD) and supervoxel graph earth mover’s distance (SVG-EMD), are proposed to measure the dissimilarity between the static and dynamic hand gestures, respectively. Then a high accuracy hand gesture recognition algorithm is developed using the proposed new distance metrics. Furthermore, general purpose graphic processing units (GPU) computing technique is applied to accelerate the recognition process for real-time applications. In summary, this project focuses on a detailed research of hand gesture recognition based HCI and addresses several key problems in the practical applications, thus yielding both scientifically and practically important prospects.

智能人机交互技术是时下各国政府和企业关注的重点，手势交互以其非接触操作的优势成为研究热点之一。虽然近年来已取得一定的进展，但手势的多样性和环境的复杂性仍然是研究和应用中面临的最大挑战。如何保证手势识别的准确性和实时性，已成为手势交互系统发展的关键与瓶颈。因此，本项目将主要围绕手势数据预处理，静、动态手势特征提取和距离度量，实时手势交互应用这三个方面展开研究。通过联合利用深度、颜色和红外信息对手势进行预处理，保证手势检测的准确性；基于超像素、空时超体素和EMD距离(Earth Mover’s Distance)，提出新的超像/体素图EMD距离度量，进而构建高精度的静态和动态手势识别算法；并依靠图形处理器(GPU)并行计算技术实现手势交互的实时性。本课题将对手势识别方法进行细致而全面的研究，为基于手势的人机交互系统迫切需要解决的问题提供理论支持，有着重要的科学意义和应用前景。

手势交互是智能人机交互技术的研究热点之一，在多媒体交互、人车交互、行为分析等领域有着广泛应用前景。手势识别的准确性、实时性、抗干扰性等是手势交互系统的关键。本研究在充分研究深度和彩色图像联合处理和超像素图特征表示的基础上，提出了新的高性能静态手势识别算法，并结合三维深度卷积网络和时域卷积网络，提出了一种动态手势识别模型。本研究利用深度和骨架信息，快速且准确地提取手势图像块。并利用手掌面的法向量估计有效地了抑制旋转、形变等干扰。在此基础上，基于概率的局部多项式回归算法能高质量地修复深度图像，大大减少噪声对识别准确性的影响。本研究在结合了超像素分割、手势结构和EMD距离的基础上，提出了一种新的手势表示形式（超像素图）和一种新的距离度量标准（基于标准化超像素图的EMD距离）。基于此研究结果，所构建的静态手势识别算法，对训练数据依赖度低，同时识别精度高。在五个公开数据集上，与多个最先进算法进行比较，均取得了最好的识别准确率（99.7%，99.4%，97.9%，96.6%，97.4%）。同时，本研究设计了一种用三维卷积网络提取动态手势的短时空时特征的网络结构，结合时间卷积网络和时域注意力机制，提出了新的短时时间卷积网络模型用于动态手势识别。提出的模型能够很好的分析动态手势的时域信息，在VIVA和NVGesture这两个公开数据集上，针对不同类型的数据，取得了与最新算法相当或更高的识别精度（91.54%，86.10%，86.21%，86.93%）。在提出的识别算法的基础上，本研究通过三维打印制造了机械手，并实现了五指机器人灵巧手的镜像操控和三维场景漫游两个两个应用演示。本研究对静态和动态手势识别从方法到系统搭建进行细致而全面的研究，对基于手势的人机交互系统所需要解决的问题进行了理论探索，有着重要的科学意义和应用前景。