多通道手语信息融合问题的研究

人可以在一瞥之间获得多方面的信息并加以融合理解，如何使计算机也具有人类融合多通道信息的能力是当前拟人化人机交互研究的重点问题。但是不同人的手势、表情等信息的表现方式和习惯千差万别，使得信息融合研究非常困难。而手语是一种由手势、表情、视线等多通道信息组成的形象化语言，同时与普通人的肢体语言相比更加具有规律性、语义更为丰富，因此对手语信息的感知具有自然、非精确、多通道、连续等特点，可以为人类手势、表情、视线等多通道信息的融合提供一个很好的研究平台。据此，本项目拟探索多通道手语信息融合中的科学问题与关键技术，使得计算机能够感知人的表情、手势、视线等信息，并对这些信息中的语义进行融合理解，重点研究分析人类对多通道信息的融合机理，并在此基础上探索计算机多通道信息的融合策略与方法，最终实现一个基于手势、表情、视线的多通道手语信息融合系统。

人可以在一瞥之间获得多方面的信息并加以融合理解，如何使计算机也具有人类融合多通道信息的能力是当前拟人化人机交互研究的重点问题。但是不同人的手势、表情等信息的表现方式和习惯千差万别，使得信息融合研究非常困难。而手语是一种由手势、表情、视线等多通道信息组成的形象化语言，同时与普通人的肢体语言相比更加具有规律性、语义更为丰富，本项目在已有的手语识别理论与方法的基础上，研究视频图像中手势、面部和视线等目标区域的检测跟踪算法，采用双目视觉和深度信息两种方法提高手部检测精度；研究半监督和统一学习范例等多种机器学习方法；研究认知模型和融合算法；最终实现具有自适应能力的手语信息融合系统。发表论文25篇，其中国际期刊7篇，国内核心期刊4篇，SCI检索3篇，EI检索12篇。发明专利一项。出国参加国际会议3人次。已毕业博士2人，硕士7人。