基于最优波段选择和多任务深度残差网络的鲁棒高光谱人脸识别研究

Hyperspectral imaging offers new opportunities for face recogniton via the improved discrimiation information along the spectral dimension. To improve hyperspectral face recognition accuracy, the main challenges is low signal to noise raito, inter band misalignment, high data dimensonality and complexity. Itis vital to extract compact and discriminative features from the different bands images. To make full use of the discriminant information for hyperspectral imaging faces and lessen the unconstrained condition effects on recognition performance, based on our previous study on thermal infrared face recognition, this project focuses on robust hyperspectral face recognition using optimal bands selection and multi-task deep residual network. The main missions of this project are: ①Based on the separability discriminant and correlation criterion along the different bands data, the multi-objective optimization algorithm is introduced to get the most suitable spectral information for face recognition ②To make the learning process faster, three deep residual netwroks(DRN) are constructed to extract the spectral and spatial features. ③ Multi-task learning is fused with DRN to improve the robust of expression,pose and occlusion interference. The purpose of the project can make a good foundation for developing a deep learning technique for the roubust hyperspectral face recognition. The research achievements of this project can also be applied in image analysis, pattern recognition, video retrieval and information security.

高光谱人脸数据由于具有丰富鉴别信息，成为提高人脸识别性能的一个重要研究方向。选择高光谱人脸数据的最优波段和挖掘高光谱人脸数据中谱间、空间鉴别特征是实现非约束高光谱人脸识别的关键技术。本项目在前期红外人脸识别研究的基础上，面向高光谱成像低信噪比和模式复杂等特点，开展高光谱人脸鲁棒特征提取与识别研究，主要研究内容有：①建立高光谱人脸数据谱间特征的互补性和可分性指标，采用多目标优化算法（NSGAII），实现面向识别任务的最优波段选择，减少冗余信息对深度学习网络的影响；② 为避免卷积神经网络的退化问题，建立三个并行的深度残差网络（DRN），挖掘高光谱人脸的谱空和空间特征，③将多任务学习机制与残差网络相结合，训练并行的DRN网络，提取与遮挡、姿态和噪声等任务无关的深度识别特征。通过本项目的研究，探索高光谱数据表征人脸的深度学习模型和方法，为开发鲁棒的高光谱人脸识别系打下坚实的理论基础。

高光谱人脸数据由于具有丰富鉴别信息，成为提高人脸识别性能的一个重要研究方向。选择高光谱人脸数据的最优波段和挖掘高光谱人脸数据中谱间、空间鉴别特征是实现非约束高光谱人脸识别的关键技术。本项目面向高光谱成像低信噪比和模式复杂等特点，开展基于深度学习的高光谱人脸鲁棒特征提取与识别建模研究：①在高光谱波段选择方面，开展了基于注意力机制的最优波段深度网络建模工作，提出了一种最优波段选择和深度卷积网络结合的高光谱人脸识别方法；②在高光谱鲁棒特征提取方面，开展了迁移学习的深度网络高光谱人脸特征表示研究，将参数正则化约束和特征模拟相结合以提高网络模型的学习能力和泛化能力，同时引入了一个端到端的深度卷积网络模型，把特征提取与样本预测结合在一起，改善了高光谱识别深度模型的鲁棒性；③在改善高光谱人脸识别效率研究方面，引入能够提取二阶聚合特征的优化注意力模型，提出一个多尺度融合的轻量级CNN模型(FFANet)，以获得全面和有区分性的特征表示，创新性地采用自监督与知识蒸馏结合方法训练高光谱人脸识别网络。本项目在光谱人脸识别的波段选择和空谱特征提取研究都取得了突破性进展，在国内外期刊/会议上发表学术论文共计16篇，其中SCI期刊论文7篇、EI会议论文6篇、CSCD中文期刊论文3篇。