面向极低质量监控图像的鲁棒性人脸超分辨率研究

近年来国家安全形势日趋复杂，各类大案要案多发于光照条件极其恶劣的夜间，监控录像十分模糊，无法满足刑侦业务辨识的需要。传统人脸超分辨率方法以处理前后像素相似性为基础构建相似度函数，夜间图像重建质量因像素噪声而急剧下降。针对这一问题，申请者研究了影响算法鲁棒性的原因，提出在全局脸超分辨率算法中引入人脸形状语义相似度准则，减少算法对像素有效性的依赖，提高全局脸算法的鲁棒性。其次，在基于流形学习的局部脸超分辨率算法中引入流形投影，通过训练在噪声条件下保持流形结构不变的投影矩阵，提高局部脸算法鲁棒性。最后，将形状语义相似度与流形投影扩展到基于张量的多模态人脸超分辨率算法中，通过构建形状语义张量和流形投影张量，提高多模态算法鲁棒性。相关研究成果预期将图像重建主客观质量分别提高1个MOS分和0.6dB，尝试解决城市视频监控系统应用中的重大技术问题，显著提升视频监控系统的实际使用效能。

近年来国家安全形势日趋复杂，各类大案要案多发于光照条件极其恶劣的夜间，监控拍摄的人脸图像十分模糊，无法满足刑侦业务辨识的需要。传统全局脸超分辨率方法以像素相似性为基础构建人脸相似度约束函数，夜间图像重建质量因像素噪声导致相似度函数不准确而急剧下降。传统局部脸超分辨率方法假设高低分辨率图像块构成的流形空间具有局部结构一致性，夜间图像重建质量因像素噪声导致高低分辨率图像空间流形结构严重不一致而急剧下降。针对上述问题，本项目对鲁棒性全局脸超分辨率算法、鲁棒性局部脸超分辨率算法展开研究，并将其进一步拓展到多模态人脸超分辨率算法中，取得了以下几项主要研究成果：.（1）基于形状语义模型的鲁棒性全局脸算法.本算法针对像素噪声导致人脸相似度函数不准确、人脸重建质量急剧下降的问题，在全局脸超分辨率相似性准则中引入形状语义相似度函数。该相似性函数结合了人对图像理解的形状语义信息，减少了算法对像素有效性的依赖，提高全局脸算法的鲁棒性。与前沿的特征变换全局脸方法相比，本算法结果客观质量PSNR平均提高了1.27dB。 .（2）基于局部约束表示的鲁棒性局部脸算法.本算法针对前沿稀疏表示局部脸方法对噪声图像块表示不稳定的问题，分析了噪声对图像块流形结构表示的影响，建立了局部约束表示模型，自适应地选取与输入图像块相似的样本块，解决稀疏表示方法对噪声不鲁棒的问题，提高局部脸算法的鲁棒性。与前沿的稀疏表示局部脸方法相比，本算法结果客观质量PSNR平均提高了1.02dB。.（3）基于形状语义模型和后验信息的鲁棒性多模态算法.本算法针对噪声导致模态间张量系数关系不一致、人脸重建质量急剧下降的问题，将形状相似度函数与后验信息原子库扩展到基于张量的多模态人脸超分辨率算法中，通过构建形状语义张量和后验原子库张量，约束和修正不同模态间张量系数的关系，提高多模态方法的鲁棒性。与基于张量的多模态方法相比，本算法结果客观质量PSNR平均提高了1.49dB。.在项目执行过程中，本研究团队在TIP/TMM/TCSVT/ACM MM等国际期刊和会议上发表学术论文39篇，在MMM 2015会议上获得Best Student Paper Runner-up Award；在超分辨率方向申请国家发明专利19项，其中授权12项，相关成果获2014年公安部科学技术三等奖。