基于深度信息和显著计算的手势交互技术研究及应用

Gesture-based interaction is an important and indispensable technology for intelligent human-computer interaction. Vision-based gesture interaction technique is vulnerable to light, complex background and environment, which greatly limits its practical application. On the basis of the long-term research on the vision-based hand gesture interaction,The project will make research for key issues of gesture interaction technique to improve their applicability, namely gesture detection and segmentation, feature extraction and gesture modeling & recognition. Because the existing gesture detection method is susceptible to illumination changes and complex background, we plan to combine depth information with saliency computation to detect and segment hand in the static/dynamic gesture, which can achieve hand more accurately. Mostly existing feature extraction methods explore simple appearance feature for hand gesture recognition, therefore, the project intends to integrate a variety of features to build a stable and view-invariant feature. Due to a large number of model parameters to be estimated for existing observation models of HMM, the project intends to use kernel sparse representation to model observations of HMM, which can increase the expressive ability of the observation model and does not grow rapidly the number of parameters. Based on the above approaches, we will build and implement a vision-based gesture interaction system for service robot. The implementation of the project will not only promote the development of related theory , but also for the interaction between people and service robots ,which make service robots be integrated into human society better. Therefore, it has important scientific value and practical significance.

手势交互技术是实现智能人机交互不可缺少的一项关键技术。基于视觉的手势交互技术易受光照、复杂背景和环境等影响，大大限制了它的实际应用。本项目拟对手势检测与分割、特征提取和手势建模与识别等手势交互技术的关键问题进行研究，以提高其适用性。基于现有手势检测技术易受光照和复杂背景影响，拟采用基于深度信息和显著计算相结合的方法进行静/动态手势检测与分割，大大提高手势检测的准确性。现有特征提取方法提取的大都是视角变化的特征，本项目拟在融合多种特征基础上构建一种视角稳定的特征。针对现有HMM观测建模方法需要估计大量模型参数，本项目拟采用核稀疏模型建模HMM观测，一方面可提高模型的表述能力，另一方面不会快速增加参数数目。在此基础上实现基于视觉的服务机器人手势交互系统。本项目的研究不仅能促进相关理论发展，而且可用于人与服务机器人间的交互，使得服务机器人能更好地融入人类社会，具有重要的科学价值和实际意义。

随着老龄化社会、公共安全事件、教育以及医疗对服务机器人的需求旺盛，服务机器人的需求急剧增长，但是服务机器人要想更好地为人类服务，必须能以自然和谐的交互方式与人进行交流，因此非常有必要建立和谐自然的人机交互环境。针对手势交互中存在的问题，主要以显著性和深度信息为途径对家庭服务机器人手势交互中的手势检测、手势特征提取和手势识别展开深入的研究，具体如下：.1）针对复杂家庭环境手势检测问题，提出了基于显著计算的手势检测新模型，其融合了颜色和纹理多尺度全局区域对比度、对象性度量值和肤色概率等高层先验构建显著计算模型。其次结合深度信息、3D骨骼、3D点云进行手势检测来解决现行方法中普遍存在的遮挡、光照变化、光照不均及阴影问题，为复杂背景下进行手势检测提供了一种新的思路。.2）在研究各种特征提取方法基础上，提取了轮廓、掌心、凹槽、指尖、旋转等特征描述手势；其次，为全面描述手势，提出了多特征融合的多尺度显著性驱动双边滤波特征，方法中首次提出了显著性特征和显著性驱动双边滤波的概念，其次提出了M-PCCA和MDDR的多特征融合策略。对于非典型手势，设计了基于手部姿态模型和多尺度卷积神经网络的两阶段特征提取方法。考虑到动态手势序列相邻帧间存在动态性和连续性，设计了融入运动上下文的手势特征。构建的特征一定程度上减少了手势区域中背景、光照以及噪音对后续手势识别的影响，为后续识别奠定了重要的手势特征基础。.3）提出了显著性和相似度学习的手势识别，创新性提出建立排序模型学习相似度函数进行手势识别的新思路；其次，对核稀疏表示中特征设计与选择、字典学习以及核函数选择进行了研究，提出了基于显著性和直方图交叉核的手势识别；针对现有HMM性能依赖模型初始参数，提出了新的模型状态数以及状态输出概率密度函数的初始参数确定方法。基于深度学习在计算机视觉的优异表现，提出了基于改进卷积神经网络的手势识别方法。结构中创新性地加入非线性手势模型层以及使用多分辨率深度图作为网络输入提高准确率，通过只保留关键节点提高检测速度。为提高全连接层特征的泛化能力，提出在全连接层加入Dropout和正则化约束，并用SVM代替Softmax。较好解决了卷积神经网络在小数据集上易出现过拟合或是识别精度过低的问题。.本项目相关成果已在国际、国内相关领域期刊陆续接收与发表，很好的完成了项目申请书中规定的全部研究内容和研究目标。