基于自然手势的三维交互技术研究

在本项目中，我们通过研究手部几何特征提取、静态与动态手势识别等途径进行自然手势的三维人机交互。通过提取一些鲁棒的特征信息，从而避免了整个手部结构信息恢复带来的高时间复杂度以及不鲁棒性；对于静态与动态手势的识别，利用我们已有的权值特征流与肤色模型的多模式手跟踪算法，解决自然手空间位置的三个自由度跟踪问题，并将该算法用于动态以及静态手势识别中，进一步提高手势交互语义的多样性以及稳定性；把手势交互归结为基于点、线、面的统一交互模式。最后，我们开发三维交互原型系统，并将之应用于虚拟现实以及增强现实。计划在顶级国际会议、国际期刊和国内一级学报发表高水平论文4-6篇。

在三维人机交互系统中，实时、稳定的多手指跟踪能让用户像操作真实物体一样去操作虚拟物体，因此能带来非常好的用户体验，而且它能提供手的三维结构信息，因此也能促进手势识别算法的准确性和鲁棒性。.在手势识别与跟踪部分，本项目主要工作包括三个部分：（1）利用普通摄像头进行实时稳定的手区域跟踪；（2）利用微软Kinect实现静态手势识别；（3）利用Kinect实现动态手势识别。.手势拟合是一种使用三维程序创建虚拟手并调整其参数使之能够和摄像机获取的手势最为匹配，来完成指尖跟踪与手势识别的一种方法。针对在手势拟合过程中难以同时满足精度和速度要求的现状，本项目提出并实现了一种高效的通过使用普通摄像头来拟合手势的方法。实现表明该方法可以弥补普通摄像头缺少深度信息造成的不足，提高手势识别率。同时在一些无法检测到指尖的情况下也能有不错的表现。.在应用研究方面，基于像素分类的二维指尖检测算法，我们实现了一个二维人机交互应用：隔空触摸；基于三维轨迹跟踪算法，我们实现了两个三维交互应用：积木摆放和虚拟物体浏览。同时，根据对人体自然交互的识别与跟踪算法，我们还实现了两个延伸实验原型:数字皮影和人脸卡通动画。