基于MEMS加速度传感器的智能终端手势识别及三维交互模型

Gesture recognition and human-computer interaction (HCI) based on the Accelerometer of intelligent terminal, which attempts to collect user’s gesture acceleration signals using the accelerometer of intelligent terminal and then carry out gesture recognition algorithm to achieve a more natural HCI. Gesture recognition is an important human-computer interaction technique. At present, most gesture recognition base on image processing method, which has a lot of limitations. For example, it dependent on external conditions such as light, background and so on. Fortunately, our method can overcome these weaknesses. The research includes following aspects: (1).We establish a standard database of gestures acceleration signal based on ADXL330 tri-axial accelerometer; (2).According to the characteristics of accelerometer signals, we explore different efficient features extraction methods and reconstruct gesture trajectory; (3) Since the resources of the terminal equipment is limit, we optimize the classifier through improving the algorithm speed and reducing memory costs .The significance of the completion of the project is to explore a new way for the future development of HCI.

基于加速度传感器的智能终端手势识别及人机交互，是通过无处不在的智能终端上的加速度感器采集用户手势动作数据，然后利用手势识别算法，实现更为自然的人机交互方式。手势识别是一种重要的人机交互技术，目前通常采用基于图像处理的方法，由于该方法对光线、背景等外部条件的依赖比较强，对特定的场合和人群的应用时，存在局限性。而本项目采用加速度传感器的方法正好可以克服这些弱点。本项目的具体研究内容包括：(1)采用ADXL330三轴加速度传感器，建立用户手势加速度信号的标准数据库；(2)深入研究加速度手势信号的特征提取方法和手势轨迹恢复;（3）面对资源受限的终端设备，优化分类器，提高算法速度和降低内存占用。本项目完成的意义在于为以后的人机交互的发展探索出一条新的途径。

基于加速度传感器的人运动和手势识别是近年来计算机领域中新兴起的研究前沿方向之一，即将加速度传感器穿戴在用户身上或将它集成在手机或PDA等手持设备上，通过分析人运动时所产生的加速度信号来进行检测，识别用户的运动状态并对其行为进行理解和描述，它属于穿戴式计算和普适计算的重要研究内容之一。前人的工作虽然取得了一定的进展，但仍有很多着问题需要解决。. 本项目提出了采用加速度传感手势识别来实现人机交互的框架。首先，利用集成在智能手机上的加速度传感器和陀螺仪，采集用户常见手势动作，建立用户手势加速度信号的标准大数据库。其次，围绕加速度手势信号长度不一带来特征提取和分类器设计困难的问题，提出了二种解决方案和多种特征提取方法。第一种方案：借鉴语音信号处理技术，提取三轴加速度信号的合力的美尔倒谱系数，然后采用隐马尔可夫模型进行训练和测试；第二种方案：提出采用重采样技术将信号规整到同一长度，然后对加速度信号进行一维Gabor变换，提取Gabor系数作为特征。针对Gabor特征维数高、冗余大的缺点，引入Boosting算法、PCA+LDA等进行特征选择。再次，除了直接提取加速度信号作为特征外，还尝试了将手势三维加速度信投影到二维平面，进行手势轨迹恢复。为了更好地获取用户的上下文信息，提高识别精度，可将基于加速度传感器和基于视觉的方法相结合，因此本项目也研究了基于视觉的行为识别。本研究领域最终需要实现用户行为感知和行为理解，真正实现“无处不在的计算”，就必须分析和理解人的个人行为、人与人之间及人与其它目标的交互行为等，这就必须构建一个无线传感器网络，因此，我们也对无线传感器网络进行了初步的研究。本项目的研究成果将提供一种更为直接、新颖自然的人机交互方式，它将在游戏接口、手机字符输入等方面有着广泛的应用。此外，本项目的研究也对最终实现用户的行为感知和理解将具有一定的推动作用。