基于多目视觉的形体语言感知与识别研究

本项目将围绕人机交互中形体语言感知与识别的核心内容展开研究。其中包括： 1）基于多目视觉的形体语言感知机理研究：从感知形体语言的表象入手，探讨多摄像机感知的模型、多摄像机无重叠配置的基本机理，主要解决①感知形体语言的机理与形体语言的表示问题；②形体语言加工与特征提取问题。2）建立多目视觉智能感知协同计算模型的理论，尝试以多目视觉系统解决形体语言感知的遮挡、盲区等问题，同时解决多目视觉带来的匹配等难点问题；3）深入研究多目视觉感知全局表观特征标注方法，解决识别的准确率及识别速度问题；4）适境计算理论及技术研究：建立一个"适境计算"的理论框架以及基于"适境计算"的信息融合算法，以解决形体语言视觉感知及识别的鲁棒性问题；.5）实现一个形体语言的感知与识别综合实验平台，以展示形体语言的语义表达及识别效果，同时建立一个基于形体语言感知与识别的人机交互实验系统。

本项目将围绕人机交互中形体语言感知与识别的核心内容展开研究。其中包括： .1）基于多目视觉的形体语言感知机理研究：从感知形体语言的表象入手，探讨多摄像机感知的模型、多摄像机无重叠配置的基本原理与方法，主要解决①感知形体语言的机理与形体语言的表示问题；②形体语言加工与特征提取问题。.2）建立多目视觉智能感知协同计算模型的理论，尝试以多目视觉系统解决形体语言感知的遮挡、盲区等问题，同时解决多目视觉带来的匹配难点问题；.3）研究多目视觉感知全局表观特征标注方法，解决识别的准确率及识别速度问题；.4）建立一个"适境计算"的理论框架以及基于"适境计算"的信息融合算法，以解决形体语言视觉感知及识别的鲁棒性问题；.5）实现一个形体语言的感知与识别综合实验平台，以展示形体语言的语义表达及识别效果，同时建立一个基于形体语言感知与识别的人机交互实验系统。 . 本项目研究取得了如下一些成果：.1）提出了一种基于RGB-D的一次学习手势识别方法。其中包括，同步正交匹配追踪（SOMP）算法；三维增强运动尺度不变特征转换（3D EMoSIFT）；三维稀疏运动尺度不变特征转换（3D SMoSIFT）算法；字典优化的特定类互信息最大化（CSMMI）算法等；不仅提高了识别率，而且识别速度也有较大的提高；.2）提出了一种基于弯曲不变量的三维人脸表面描述子及鲁棒的区域稀疏回归模型，该方法具有良好的三维数据表达能力，在三维人脸识别中显示出了优越的性能。.3）提出了正交张量邻域保持嵌入算法（OTNPE）和正交张量边界费舍尔分析算法（OTMFA），从而改善了人脸表情的表征和识别效果；提出了张量秩一差分图保持分析算法（TR1DGPA），该算法对于表观人脸表情的识别更加有效；.4）提出了一种基于异质人脸数据的对偶可鉴别特征学习方法。该方法可提高异质人脸识别准确率。.5）提出了一种基于Agent的多摄像机无重叠视野域的目标跟踪方法。利用智能Agent代理摄像机，解决了多目视觉系统协同合作的关键难点。.本项目经过4年的研究取得的成果还包括：.1) 发表论文 70余篇，其中包括多篇发表在IEEE Trans 和PR等高水平杂志上；.2) 申请发明专利2项，授权一项；.3) 获奖3项；.4) 培养博士生16名，毕业5名，毕业硕士生19名。.5) 主办国际会议4次，参加国际学术交流20余人次。.该已圆满完成了预定的任务。