基于多个小型微惯性/磁强计测量单元的手势识别研究

The key of gesture recognition is the reliable human arm/hand motion capture and recognition. In this project, we use a number of small micro inertial and magnetometer measurement units to develop a new type of gesture capture device. It can detect the movement of arms, hands and fingers. Meanwhile, the errors of units, and errors of installation are considered in the global calibration method. According to the conditions like multi-modal sensing information, a large amount of data, the noise interference and other issues, a robust filter is designed for data fusion. Then the hand gesture recognition algorithm based on sparse coding will be proposed by the acceleration, angular velocity, attitude, velocity, displacement and other information of arms and hands. Finally, the teleoperation experiment and gesture testing experiment will be implemented to prove the theory..Through this project research, we will establish a complete set of gesture recognition system. The theory of the global calibration method, data fusion and gesture recognition will be proposed based on multiple micro inertial / magnetometer measuring units. Meanwhile, it can provide reliable data source for hand/arm kinematical assessment and man-machine-environment interaction mechanism research. The research will develop the multi directions as robot teleoperation, rehabilitation engineering, and sports medicine. The project has important theoretical significance and practical application value in the national economy and military field.

手势识别的关键是人手臂运动信息的可靠捕获及识别。本课题利用多个小型微惯性/磁强计测量单元研制新型的手势捕获装置，可以检测左右手臂、手掌和每根手指的运动状态。同时考虑测量单元自身误差和装置穿戴误差，研究整体标定的方法。针对传感信息的模态不同、数据量大、噪声干扰等问题，研究鲁棒滤波器进行数据融合。根据双臂和双手的加速度、角速度、姿态、速度、位移量等信息，将提出基于稀疏编码的手势识别算法。最后，通过手势测试实验和机械手臂的遥操作实验完成理论成果的实验验证。.通过本项目研究，可以建立一套完整的手势识别系统，能提出基于多个小型微惯性/磁强计测量单元的整体标定方法、数据融合和手势识别理论，同时为双臂、双手的运动功能评估、人-机-环的交互运动机理研究等提供可靠的基础研究数据源，促进机器人遥操作、康复工程、运动医学等多个方向发展，并且在国民经济和军事国防领域具有重要的理论意义和实际应用价值。

微惯性传感器因体积小、易集成、动态特性好等优点而被广泛应用。本文就是基于微惯性器件研制了新型的穿戴装置，可以同时捕捉手指和手臂的运动信息，并进行手势识别与人机交互，可以识别多种静态和动态的手势，并可以实现遥操作机器人完成相应任务。具体的研究工作包括以下内容： (1) 研制了基于惯性器件的手指运动捕捉装置。首先设计了小型的微惯性传感单元，可以放置在手指背上。提出了高效的嵌入式姿态估计算法，可以解算获得全手指的姿态信息。最后，通过仿真说明了算法有效性，并利用该装置对多种手指精细操作动作进行了捕捉分析。(2) 研制了全手势动作捕捉装置。通过18个传感单元捕捉大臂、小臂、手掌以及每一个手指关节的运动信息。提出的全标定算法可以对所有传感器进行误差补偿，提高了传感器精度。同时提出优化姿态估计算法，得到了全手势姿态。并且结合手臂长度信息，得到了每一个手指末端的位置。最后通过仿真验证了算法有效性，利用机械臂评估了装置的精度，并开发了交互显示界面，实时捕捉了精细手势动作。(3) 研究了基于数据手套的手势识别算法。建立了手势识别的系统框架，提出了基于kernel ELM（超限学习机）的手势识别算法。首先建立静态和动态手势数据库，建立一个包括10种静态手势的数据集，以及一个包括16种动态手势的数据集。然后分别提出了静态识别算法和动态识别算法。最后和其他算法进行了比较，验证了基于ELM手势识别算法的有效性。(4) 研制了基于数据手套的人机交互操作系统。分别利用10自由度机械手臂系统、11自由度机械手臂系统和7自由度仿人机械臂系统上设计了基于数据手套的人机交互操作方法，通过关节角映射、位置映射算法，实现了自然人机交互，并通过实验验证了系统有效性。(5)建立了手语数据集，提出了基于深度学习的复杂手语识别方法。