引入位置关联和竞争机制的多模态生物融合识别方法

In consideration of the flexibility of biometrics, the convenience of image acquisition, the volume of imaging device and anti-counterfeiting ability, conventional unimodality and existing multimodality personal identification systems are always not perfect.Therefore, we plan to investigate multimodal biometrics with intrinsic position relevance, take efforts to embed the position relevance of these modalities into recognition framework and explore the competing selection mechanism of dominant features and fusion strategies, with the aim of improving anti-counterfeiting ability and recognition accuracy of multimodality system.Finally, we will propose new fusion theories and implemente a?corresponding DEMO system for personal identification. The main content consists of: ① synchronously imaging device design for multi-spectral finger vein and finger knuckle print,②establishing and publishing corresponding multimodality image database, ③exploring competing selection mechanism and fusion theories of dominant feature from multimodalities and coding position relevance of multimodalities for feature extraction, ④performance evaluation of the proposed approach on multiple image databases. It is expected to be a good reference for researchers in biometrics and a biometric technology and system with independent intellectual property rights and high anti-counterfeiting ability. The outcomings from this work will push forward the theory and technology of our country in imaging processing and biometrics.

综合考虑模态的替代灵活性、采集方便性、设备体积及防伪造性等多种因素，传统单模态生物识别与现有多模态生物识别都存在某个方面的不足和缺憾。为此，本项目着眼于挖掘具有内在位置关联特性的多模态生物特征，力图在识别中引入这些生物模态之间的内在固有关联特性，并探索多个模态之间显著特征的竞争选择机制及融合理论，提高多模态系统的防伪造性能和识别精度，并实现一种相应的多模态身份识别的理论方法及原型系统。主要研究内容：①以指静脉与指关节纹为例的多光谱多模态同步成像方法研究；②相应的多模态生物图像数据库的建立与公开发布；③多模态识别中显著特征的竞争选择机制与理论、以及位置关联性的表达与特征编码方法研究；④跨图像库的算法性能评估。预期成果可为生物识别领域的同行提供有益的参考，为我国提供拥有自主知识产权的、高防伪性能的身份认证技术与系统，并提高我国在图像处理与生物识别领域的理论水平和应用能力。

本项目面向身份识别进行了专门、系统、深入的研究，主要内容包括指静脉与指背纹生物特征图像库构建、单模态静脉识别、单模态人脸识别、单模态指背纹识别、多模态指静脉与指背纹的竞争融合识别、以及图像复原理论与方法研究。. 具体研究内容与成果包括：1）设计了全球第一套多模态指静脉、指背纹采集设备，建立了一套相应的包含指静脉和指背纹的多模态数据库提供给国内外同行学者使用；2）提出了一系列单模态指静脉处理与识别方法，包括韦伯静脉增强算子、非对称的静脉特征编码、加权静脉匹配策略、迭代式单样本最优稀疏表示静脉识别算法； 3）首次提出了基于GAN对抗生产网络的指静脉特征提取算法，该算法对静脉图像噪声、光照变化更加鲁棒。4）提出了一系列指静脉与指背纹竞争融合识别方法，包括交叉点增强编码（IGDC）、交叉区段二值编码（CSBC）、和基于稀疏的加权融合方法（WSFI）；5）构建和采集了多视角指静脉成像设备与图像库，并研究了3D立体静脉重构方法；6）提出了基于弹性进阶模型的人脸关键点检测算法、基于组件加权的通用人脸识别算法、基于MDS的高低分辨率空间学习映射的人脸识别算法，基于网络损失函数改进的Margin Face深度学习人脸识别算法，更好地扩大类间距离并缩小类内间距，获得了更高的识别准确率；7）提出了多种低质图像超分辨率复原算法。. 项目组公开发布了国际上第一个多模态指静脉与指背纹图像数据库THU-FVFDT，被国内外超过50个高校和科研机构下载使用。本课题累计在IEEE TIFS、TIP、TSMC、TMM、SPL、Pattern Recognition、Neurocomputing等著名国际期刊以及IEEE ICASSP、ICIP、VCIP等著名国际会议累计发表学术论文30余篇，其中18篇论文被SCI检索，12篇论文被EI检索，累计培养博士后/博士/硕生22人，累计申请技术发明专利4项，其中国际PCT专利2项，中国发明专利2项。项目所产生的研究成果已经在相关企业（如华为、博为）进行产学研转化，提高了我国在图像处理、模式识别、身份识别、多模态融合、图像复原等方面的理论和应用水平。