医学虚实融合系统中的实时手势建模与识别技术研究

虚拟现实技术在医学中的应用是目前研究的热点和难点，使用医学虚实融合系统进行康复医疗，帮助病人肢体恢复，是有效、可行的方法之一。本项目面向肢体康复医学，通过实时手势建模、手势识别、图形渲染及交互技术建立虚实融合的康复训练系统。通过多摄像机采集手部多视点图像并进行侧影轮廓提取，利用多层深度图优化体素可视外壳算法的建模结果，对手势进行实时准确的三维重建；通过结合均值漂移的粒子滤波实现手势定位和跟踪，在支持向量机（SVM）分类器实现静态手势识别的基础上，利用视频图像帧间的时空相关性进行手势动作组分割，研究基于隐马尔可夫模型（HMM）、将手形特征和运动轨迹相结合的动态手势识别方法。根据患者需要开发不同主题的虚拟环境，患者可用手势控制虚拟环境，并根据系统的提示和引导进行自主操作练习。与传统器械康复方法相比，本方法具有活动自由、无机械损伤、交互性和趣味性强的特点，可有效提高患者康复训练的积极性和效果。