基于轨迹学习的宽带雷达三维动态手势识别方法研究

Robust 3D dynamic hand gesture sensing is a hot topic in the area of the human-machine interaction，which has a wide application prospect in various areas, including tiny/micro wearable devices, intelligent driving, virtual reality, etc. However, the available vision-based hand gesture sensing systems suffer from the sensitivity of the light, the influence of the occlusion and the leakage of private, which limits the usage in some situations. The radar-based hand gesture recognition is a novel technique that can be a good supplement of the available sensing systems. In this project, we will investigate the theory and method of 3D dynamic hand gesture sensing based on the wideband radar measurements. Firstly, we utilize the real marked 3D trajectory of the dynamic hand gesture and the electromagnetic scattering model to synthetize the radar measurements, including the radial distance, radial velocity, azimuth and pitch, and study the trajectory model representation of the dynamic hand gesture with the synthetized radar measurements. Then, we investigate the variable structure interacting multiple model for tracking the motion trajectories of the multiple scatter centers under the frame of random finite set by incorporating the relevant constraints of the hand. Finally, we design a mixing deep network for hand gesture spatial-temporal feature extraction and robust recognition for 3D dynamic hand gesture sensing. The essence of this project is to explore the essential relationships between the hand gesture motion and the radar measurements and to provide a valuable reference of the theory and approach for the applications of the radar-based hand gesture recognition in the novel human-machine interaction systems.

三维动态手势感知是近年来人机交互领域的热点问题之一，在小/微型可穿戴设备、智能驾驶、虚拟现实等领域具有广阔的应用前景。然而，现有基于光学设备的手势感知系统存在对光线敏感，易受遮挡影响，易泄露隐私等问题，限制了它在某些场合的应用。基于雷达观测的手势识别是一种新兴技术，可作为现有手势识别技术的有益补充。本项目将研究利用宽带雷达观测实现三维动态手势稳健识别的理论与方法。利用动态手势的实测标记点三维轨迹与电磁散射模型结合生成的距离、速度、方位、俯仰雷达测量数据，研究雷达观测下动态手势轨迹的模型表示方法；结合手部的相关性约束，研究基于随机有限集框架的手势多散射中心变结构交互多模型跟踪机制；研究基于混合深度网络的动态手势轨迹空域-时域特征提取与稳健识别方法。本项目研究的科学实质是探索手势运动与宽带雷达观测之间的本质联系，为基于雷达观测的手势识别在新型人机交互系统中的应用提供有价值的理论与方法参考。

三维动态手势感知是近年来人机交互领域的热点问题之一，在小/微型可穿戴设备、智能驾驶、虚拟现实等领域具有广阔的应用前景。然而，现有基于光学设备的手势感知系统存在对光线敏感，易受遮挡影响，易泄露隐私等问题，限制了它在某些场合的应用。本报告主要研究了基于宽带雷达的三维动态手势轨迹特征提取与识别方法，主要成果包括：. （1）考虑到手势的实现背景具有多样性与复杂性，存在异质背景杂波，研究了基于先验知识的异质环境中的宽带目标检测算法。利用宽带雷达时间-空间导向矢量的散布特性与环境的先验信息，并通过贝叶斯方法将杂波协方差矩阵的先验信息集成到广义似然比检测器中。实验结果表明设计的检测器较传统方法具有优越性。. （2）研究了基于高阶粒子滤波的微多普勒轨迹提取方法。该方法在提取微动曲线的同时，还可估计出目标的微动参数和残余平动参数。由于人手由多个散射中心构成，手势过程中将会形成多条运动轨迹，该工作为动态手势运动轨迹特征的提取奠定了基础。. （3）针对实际场景中可能会出现多个观测目标的情况，研究了多目标微多普勒分析方法。该方法利用TVAR模型可将信号的时变频率转化为线性方程系数的特点，并引入稀疏重构克服了观测不连续时数据和模型的过拟合问题，能够较好地实现微多普勒分析。. （4）研究了毫米波雷达动态手势距离-多普勒两维跟踪方法。设计了一种线性调频信号和多频键控信号相结合的新波形以及针对该波形的基于中国剩余定理的高精度距离估计方法，并基于120GHz的毫米波雷达验证了所设计的波形和信号处理方法。. （5）研究了基于混合深度网络的动态手势识别方法，利用卷积神经网络实现轨迹空域模型的特征学习，再利用条件随机场+长短时记忆网络实现轨迹时域序列模型的特征学习，最后通过全连接层将两个网络的输出特征进行整合，完成识别任务。实测数据实验表明该方法对较精细手势动作具有较好的识别性能。