基于特征学习的融合掌纹和手掌手背静脉信息的鲁棒身份认证方法研究

Biometrics technology is one of the most effective solutions for personal authentication. Particularly, for some occasions with high security, robust biometrics solutions are urgently needed. In recent years, feature learning has made a breakthrough in several fields, achieving an excellent recognition performance. In this project, we propose a multimodal biometrics system simultaneously integrating palmprint recognition, palm vein recognition and dorsal hand vein recognition. At the same time, we will mainly explore feature learning methods for recognition. Firstly, research on new feature representations of palmprint, palm vein and dorsal hand vein will be carried out. We plan to design some new local descriptors with high discriminative power. Secondly, we will conduct research on descriptor learning to obtain a compact representation, using it to attain a better recognition performance. Lastly, deep learning methods will be investigated for multimodal recognition. Our project will further promote the research of palmprint recognition, palm vein recognition, dorsal hand vein recognition, and their multimodal recognition. At the same time, the multimodal system developed in this project has a promising market prospect.

生物特征识别技术是一种有效的身份认证解决方案。特别地，在一些安全性要求高的重要应用场合，尤其需要高精度、高可靠性以及防伪性能好的鲁棒生物特征识别技术。近些年来，特征学习在很多研究领域取得了突破性的进展，获得了出色的识别效果。本项目提出基于特征学习的融合掌纹和手掌手背静脉信息的鲁棒身份认证方法研究，符合技术发展趋势。将首先开展掌纹、手掌静脉与手背静脉的新特征表示研究，重点构建判别性强的新局部特征描述子；然后开展面向局部特征描述子的特征学习方法研究，进一步提高识别精度，并在此基础上开展多模态识别算法研究；最后开展基于深度学习的掌纹、手掌静脉与手背静脉信息融合的识别算法研究。本项目将重点研究和构建一些特征提取、特征学习以及信息融合的新算法，并对它们进行理论探讨和分析，这些工作对于生物特征识别技术的基础理论研究将会起到一定的促进作用。本项目所研发的系统具有较好的应用前景，并能产生积极的社会影响。

通过对高光谱掌纹（静脉）和手背静脉图像的分析，本课题组探索了新的基于手掌特征的识别系统。我们首先提出了一种新的ROI提取方法，以自适应性地提取高光谱掌纹（静脉）和手背静脉图像感兴趣区域。然后，我们提出了一种新的度量标准——阈值像素锐度值（Thresholded Pixel-wise Acutance Value, TPAV），用于评估高光谱手背图像的锐度，进而研发了新型的高光谱手背识别系统。通过对高光谱掌纹（静脉）图像的分析，我们提出了一种联合深度卷积特征表示（Joint Deep Convolutional Feature Representation , JDCFR）方法，用于高光谱掌纹（静脉）识别。对于一个高光谱掌纹（静脉）多维图片样本集，我们构造了卷积神经网络堆栈以提取所有波段的掌纹（静脉）特征。在此基础上，我们尝试将高光谱掌纹（静脉）和手背静脉图像的特征进行融合。最终研发出了一种基于手掌及手背的高光谱多模态生物识别系统。接着，为了充分表达丰富的掌纹方向特征，本课题组进一步研究了基于判别性方向特征的掌纹识别方法。经过对掌纹图像的分析，我们发现可以通过特征学习的方式对掌纹图像进行特征编码，从而使所学习的方向特征图具有最大类间差异度以及最小类内差异度。因此，我们提出了一种判别方向特征二值表示学习方法(Discriminant Direction Binary Palmprint Descriptor, DDBPD)用于掌纹图像识别，获得了较理想的识别性能，推动了掌纹识别领域的发展。在此基础上，本课题组提出了一种全新的基于局部判别方向二值模式（Local Discriminant Direction Binary Pattern, LDDBP）的特征描述子来表达掌纹特征。多组实验均验证了该方法能够有效提高掌纹识别的准确率。另外，本课题组还提出了一种新的基于掌纹双层方向特征的特征提取与识别方法(Latent Double Discriminant Direction, LDDD)。在主流掌纹数据库上表现出非常好的识别效果，并且对噪声具有较好的鲁棒性。最后，本课题组创建了一个由近100人组成的多模态（掌纹，掌静脉和手背静脉）手掌数据库。基于以上研究，本课题组共发表了12篇高质量的学术论文。