三维表情识别中的张量表示及分解理论和算法研究

The expression recognition is key technology on natural man-machine interaction. The expression recognition has important thery significance and application worth on the computer vision,action science, sensibility computing, surveillance and control system, social security, public feelings analysis and entertainment. But,the human face is non-rigid body . the expression modeling is very difficult. There are a lot of problems to solve on the unification feature extraction, recognition robustness, description precision of face expression and recognition ratio and so on. The problem about dimension calamity and small sample is able to be avoided by method based on tensor algebra. The redundancy of the tensor data can be effectively take out. There are big advantages in the modeling and decomposition based on tensor subspace for opening out human face expression manifold and enhancement discriminate performance between expression sorts. But, the 3D human face expression recognition based on tensor representation is not enough. A lot of theory problem also need to be solved. The project will study the theory and algorithm about tensor subspace modeling and orthogonal tensor manifold learning of 3D expression; The algorithm of reduce dimension about combining tensor decomposition and manifold learning of "tensor-tensor", exploring the theory gist of 3D expression recognition based on tensor; Exploring sparseness of the non-negative basis images by combining Non-negative Tensor Factorization and the graph preserving based manifold learning; At the same time construction a 3D face expression recognition system based on Tensor Factorization and manifold learning.

表情识别是人机交互的关键技术，它在计算机视觉、行为科学、情感计算、监控系统、社会安全、舆情分析及游戏娱乐等领域中有重要的理论意义和应用价值。但是，人脸是一个塑性变形体，表情建模难度大，在统一性特征提取、表情描述精细度及识别率方面仍存在很多亟待解决的问题。基于张量代数的方法有可能避免维数灾难和小样本等问题，并且可有效去除张量数据的冗余。基于张量子空间的建模与分解对揭示人脸表情流形以及增强表情类别间的鉴别性有较大优势。但是目前基于张量表征的表情识别尚不深入。本课题将研究以下关键问题： ①探讨三维人脸表情的张量子空间建模及正交张量流形学习算法，同时给出理论解释；②研究张量分解和流形学习相结合的"张量-张量"映射的降维算法，探讨三维人脸表情识别中的理论依据；③非负张量分解（NTF）与图保持的流形学习准则结合，探讨非负基图像的稀疏性表示；④搭建基于张量分解和流形学习的三维人脸表情识别验证系统。

表情识别是自然人机交互的核心内容，在面向国家公共安全领域的社会感知数据处理的理论方法和关键技术中，人脸表情识别和分析也扮演着重要角色，同时，表情识别在生理学及心理学、行为科学、情感计算等基础科学研究方面也有重要的指导意义。表情也是重要的生物特征之一，表情识别在信息安全中也有重要应用价值。因此，它在安全保密、辅助医疗等其它需要解释面部表情的领域和行业中也会有广泛的应用。.该项目（1）从严密的张量代数理论出发，利用张量子空间的基、张量子空间投影、张量子空间重构的定义，抽象出一个统一的张量子空间模型；（2）在张量表示的基础上寻找更有效的投影基，以获取人脸表情的有效表征；（3）张量-张量映射、张量秩一分解、非负张量分解与基于图保持的流形学习相结合的理论可行性论证等都是本项目的关键科学问题；.本项目在上述关键问题研究的基础上，提出了统一的张量子空间模型，探讨了张量降维问题；提出了正交张量邻域保持嵌入算法（OTNPE）、张量秩一差分图保持分析算法（TR1DGPA）、鉴别的邻域保持非负张量分解算法（DNPNTF）、基于低秩图的稀疏鉴别保持投影算法（LRG-SDPP）、稀疏正则化鉴别局部保持投影算法（SRDLPP）、迭代加权求解lp范数最小化问题的算法、低秩张量分解的2D+3D人脸表情识别方法(FERLrTC)等一系列算法，取得了较好的识别效果。另外，在课题研究阶段主办了四次国际学术会议（IEEE ICSP和IET ICWMMN）,并邀请了11位国外相关专家讲学和学术交流；培养博士生12名，毕业7名，硕士生16名，毕业12名；发表包括IEEE Trans.在内的论文30篇，获得发明专利1项。同时培养了青年教师，有两名教师晋升了副教授。相关技术也应用在了“列车司机防盹睡监测系统的研发”，为实用化进行了尝试。同时就相关研究为“北京市翱翔计划”做了三次科普报告，产生了很好的社会效果。