面向虚拟现实人机交互的毫米波手势智能识别机理与方法研究

To improve the accuracy and fluency of human-computer interaction, virtual reality(VR) requires realizing the intelligent recognition in complex gestures. But current methods of recognizing gestures using visions or acceleration sensors could be the main obstacle in the development of VR. To solve this problem, this project will focus on a new mechanism and method research by means of millimeter waves to recognize the gestures in VR. This project starts with modelling gesture motions and scenario of millimeter wave detection. The motion parameters will be decoupled in the scenario. Accordingly, this project proposes a method of gesture motion feature extraction, especially a set of combined multi-domain features, to enhance the description of tiny motions. Also, considering the constraints of large size of feature space, convergence speed, non-uniform and irregular distribution of features, this project proposes a new method of gesture feature recognitions. Generally, this project is aiming to solve the generic and basic science problem for human-computer interaction in VR, and to establish the mechanic and methodological foundation for the invasive development of VR.

为提高人机交互的准确性和流畅性，虚拟现实技术要求实现对复杂多变手势动作的智能识别。目前现有的依赖图像或加速度传感器为主的人手手势识别方法已成为制约虚拟现实人机交互技术发展的主要瓶颈。为此，本项目将深入探索适合于虚拟现实人机交互利用毫米波对人手手势智能识别机理和方法。建立人手手势运动模型和虚拟现实条件下的毫米波用于手势识别场景模型，研究毫米波阵列的建立优化方法及手势运动参数的解耦方法；在此基础上，研究利用毫米波进行人手手势运动特征提取方法；着重提出一种集合多域特征的手势特征提取方法，解决对微动目标解析的不足；在收敛速度作为约束条件下，考虑特征空间维度大、特征分布不均匀、不规则的特点，研究利用毫米波对人手手势特征识别的新方法。本项目旨在解决虚拟现实研究中人机交互、手势智能识别等共性基础科学问题，为虚拟现实的深入发展奠定理论与方法基础。

本项目旨在提高人机交互的准确性和流畅性，为未来虚拟现实背景下实现对复杂多变手势动作的智能识别提供科学途径。区别于现有的识别手段，本项目将深入探索适合于虚拟现实人机交互的毫米波人手手势智能识别机理和方法。项目过程中，基于24GHz和77GHz两个频段建立人手手势运动模型和毫米波手势识别场景模型，研究毫米波阵列的建立优化方法及手势运动参数的解耦方法；在此基础上，研究毫米波人手手势运动特征提取方法；采用多种信号处理手段对于不同手势运动之间的差别进行提取，特别针对微小的手势运动提出了自适应的特征提出方法；考虑特征空间维度大、特征分布不均匀、不规则的特点，利用深度学习的方法研究利用毫米波人手手势特征识别的新方法。目前搭建了仿真验真系统并形成了多人多手势的数据集。以操控平板电脑为例，对所涉及的手势控制能够达到95%以上的识别效率。该项目的成果有望为未来虚拟现实、人机交互提供新的可能。