部分遮挡下人脸人耳融合识别方法研究

For persoanl identification, obviously complementary physical position of face and ear make the human ear a very helpful supplement to facial recognition. In real application, eliminating the influence of occlusion turns out to be a more demanding work. Sparse representation shows robustness to noise and occlusion in image coginiton. So in this project, we prosose robust non-intrusive face and multimodal recognition based on sparse representation (SR). The main contents of this research project include: (1)how to design the SR over-complete dictionary for occluded images and non-occluded images on the basis of the given training samples? (2)how to construct the framework and model of feature extraction method based on sparse representation? In this model, the feature vectors extracted will be discriminative and sparse. The sparsity of the feature vector is adjustable. (3)how to improve the performance of sparse reprentation classifier to posses higher disciminative ability and lower intensive computation? (4) how to design robust multimodal recognition based on face and ear

从身份识别的角度来说，人脸与人耳具有明显的互补性，这使得人耳信息可以成为人脸识别的有益补充。但在实际应用，遮挡是目前困扰其识别性能的一个主要因素。由于稀疏表示理论符合人类在感知图像时的稀疏性机制，对噪声和遮挡具有较好的鲁棒性，所以本项目拟将该理论与生物特征识别应用相结合，以人脸人耳融合识别为基础，利用遮挡在图像上的分布具有的稀疏特性，从理论上研究如何消除部分遮挡带来的影响。本项目将重点研究：（1）如何利用已有图像数据来学习得到对应于遮挡和无遮挡情况的超完备字典？（2）如何建立稀疏表示特征提取框架与模型，使得所提取的特征向量同时具有鉴别能力和稀疏性，并能够根据实际应用实现稀疏性的自适应调控？（3）如何改进稀疏表示分类器的鉴别能力较弱和稀疏求解计算量大的问题？（4）如何实现鲁棒的的人脸人耳融合识别？

本项目旨在解决部分遮挡情况下的人脸人耳多模态融合识别问题。利用遮挡在图像上的分布具有的稀疏特性以及稀疏表示理论对于图像中存在的遮挡和噪声较为鲁棒的特点，本项目重点研究了基于稀疏表示理论的人脸人耳融合识别。主要研究内容如下：（1）基于稀疏表示理论的超完备字典构建：我们提出了一种非负字典学习方法，字典由无遮挡字典和遮挡字典两部分构成。无遮挡字典利用图像的非负Gabor特征来构造，因为这种局部特征在姿态变化或遮挡情况下具有一定的鲁棒性；遮挡字典则是利用我们提出的学习算法由单位阵变换而成。在公开图像库上的实验结果表明，该字典具有更高的鉴别能力，稀疏编码也具有更高的稀疏性。.（2）稀疏表示特征提取方法研究：我们重点研究了非负稀疏表示与流形学习相结合的特征提取框架，将局部保持投影算法与非负稀疏编码算法相结合得到非负稀疏保持投影算法，所构建权重矩阵具有非负性和更高的稀疏性，符合部分构成整体的视觉感知直观体验，使得所提取的特征向量同时具有鉴别能力和稀疏性，从而能够得到更好的分类效果。.（3）稀疏表示分类方法的改进：重点研究了如何改进稀疏表示分类器的鉴别能力较弱和稀疏求解计算量大的问题。针对遮挡问题，我们提出了一种基于支持向量判别字典和Gabor遮挡字典的稀疏表示分类方法。在字典学习过程中通过设置重构项和判别项对目标函数进行优化。公开图像库上的实验结果表明，利用改进后的目标函数，提高了字典的鉴别性，减少了同类原子的交叉影响，降低了不同类原子的干扰。同时，该算法使编码向量更为稀疏。.（4）多模态融合识别策略研究：我们提出了基于模糊承诺算法、基于特征转换和模糊保险箱算法等两种融合特征模板保护与认证的方法。公开图像库上的实验结果表明，这些融合策略能够在实现识别/认证的同时，对生物特征模板加以保护。.基于以上研究，我们开发了多模态人脸人耳身份认证原型系统。本项目的研究成果有助于完善非打扰式生物特征识别系统在实际中的应用。