大规模数据集3D手语识别的研究

With the development of computing technologies and devices, the human body interaction has become one of the typical technologies in the new generation human computer interaction. As a typical 3D body activity, the study on sign language recognition (SLR) has very important academic value and social significance. In this project, we propose to use a depth camera and visual camera as input sources, and target the problem of automatic recognition of sign language. For the large vocabulary sign language recognition, considering on the main elements of sign language, this project will explore the multimodal 3D sign language representation by fusing key hand posture, motion trajectory and facial expression. The low-dimensional features will be obtained through Hash coding, manifold partition and Grassmannian manifold projection techniques. With limited training data, in order to realize the signer independent sign language recognition, this project will take the common feature as the bridge and transfer the knowledge from source domain to target domain having less data. For the continuous sign language recognition with the real-time application requirements, the transition and distortion between signs are the biggest difficulties. This project will explore to combine the HMM and the N-Gram statistical model to get the accurate sentence recognition result efficiently. As a result, this project is expected to reach the goal of low cost sign language recognition system.

随着计算技术和设备的发展，体感交互已经成为新一代人机交互技术的代表。作为一种典型的3D体势动作，手语识别的研究具有非常重要的学术价值和社会意义。本项目选择非接触深度传感器和可视摄像机作为信息输入源，以手语识别问题作为研究对象。面向大词汇量3D手语识别问题，从手语的构成要素出发，研究融合关键手型、运动轨迹以及面部表情的多通道3D手语特征表示，并通过哈希编码，流形划分以及格拉斯曼流形投影分别获取手形、轨迹和表情各维度特征的低维表示，用于后续的识别。在手语训练数据不足的情况下，本项目拟将源域与目标域共性特征作为桥梁，将知识有效迁移至数据量较少的目标域，实现非特定人自适应的手语建模。在面向应用需求的高效连续手语识别上，考虑不同词语之间跳转和畸变的影响，将HMM与N-Gram统计语法模型结合，以得到快速准确的句子识别结果。这一研究同时有望能够实现低成本手语自动理解的目标。

随着计算技术和设备的发展，体感交互已经成为新一代人机交互技术的代表。作为一种典型的3D体势动作，手语识别的研究具有非常重要的学术价值和社会意义。本项目选择非接触深度传感器和可视摄像机作为信息输入源，以手语识别问题作为研究对象。面向大词汇量3D手语识别问题，从手语的构成要素出发，研究融合关键手型、运动轨迹的多通道3D手语特征表示，用于后续鲁棒的识别。在手语训练数据不足的情况下，本项目将源域与目标域共性特征作为桥梁，将知识有效迁移至数据量较少的目标域，实现非特定人自适应的手语建模。在手语识别算法上，对传统机器学习方法和深度学习策略分别进行探索，在孤立词和连续手语识别上分别进行了验证。.具体来讲,本项目提出一种基于Grassmann流形协方差的手语表示，以及一种面向手部的时空特征，用于手语的建模。对于非特定人手语识别方面，本项目分别从词典学习，弱监督模型自适应，以及度量学习等不同的角度对手语模型的泛化能力进行探索。在手语识别方法上，本项目提出双流RNN的及基于时空特征的手语识别深度卷积网络，在2016、2017的ChaLearn连续手语识别竞赛中，连续两年获得第一名。.总体来讲，本项目的研究，对于手语识别领域的技术发展起到了积极的推进作用，有望在短期内实现低成本手语自动理解的目标。