维吾尔语文本驱动的聋哑人手语合成技术的研究

随着多功能感知、智能人机接口以及虚拟现实研究的兴起,国内在手语合成研究方面取得来了显著的成果。本项目结合国内外手语合成技术的相关研究方向与成功的技术，从机器翻译的角度探索中国手语和维吾尔族手语共同特点与差异性进行比较，研究手势词语与维吾尔语的词语对应关系、维吾尔语与手势语的基本词汇和句子结构、试探和探索对维吾尔语与手势语的理解与合成的相关技术及算法。.以中国科学手语合成系统为参照，研究基于阿拉伯字符的维吾尔语文本驱动的聋哑人手语合成技术，填补基于阿拉伯字符的维吾尔文文本驱动的聋哑人手语合成研究领域的空白。奠定使用基于阿拉伯字符的维吾尔族、哈萨克族、柯尔克族听力残疾人的手语教学、电视节目播放、虚拟人、电影制作特技处理、动画制作、医疗研究、游戏娱乐等诸多方面提供强有力的基础资源。帮助少数民族听力残疾人参加社会生活、接受文化教育和经济建设事业的基础研究。

为满足新疆各个聋哑学校老师的需求,本项目对汉语手语和维吾尔语手语的特点及对应关系进行比较研究，使用三维动画制作软件Poser10和软件开发工具C#来设计和实现了包括5215个维吾尔手语的《汉维手语三维动画电子辞典系统》。本系统输入维吾尔语或汉语可以双语查询并显示相应的手语、成语、词语附加成分的三维动画手语。本系统的研究和开发填补了基于阿拉伯字符的维吾尔手语三维动画词典系统研究领域的空白。.课题组在维吾尔语文本驱动的手语合成研究领域中采用基于关键帧的维吾尔手语合成技术。首先在三维虚拟人建模的基础上，运用控制原理和仿射变换方法对虚拟人的手臂进行驱动；其次获取手语参数、建立交互式手势库；最后采用关键帧技术，对手势动作变化序列进行线性插值，实现了维吾尔手语合成的连续动画显示并取得了较好的动画显示效果。代表性的阶段性成果主要反映在已发表 5篇学术期刊论文、5篇研究生论文和1项软件著作权中。