基于多边亲和度函数和序列图像的人脸超分辨率方法研究

Video surveillance is of great importance in the field of the public security. In the surveillance videos, faces have attracted much attention due to their significant impacts on personal identification. However,in practice,facial regions are always of low-resolution. Based on such facial images, it is very difficult to make the accurate identifications. Moreover，existing methods of super-resolution are still inadequate to solve such problems. Therefore, we propose a face super-resolution method using multilateral affinity function and sequential images, with the aim of enhance the resolution of facial images or facial regions in videos. It is worthwhile to notice that our purposes are to improve the visual quality of faces as well as the discriminability of them. To achieve above purposes,the studies in this project include the following three contents: single-frame face super-resolution using multilateral affinity function, multi-frame super-resolution based on facial constrained multi-surface fitting, and the schemes to jointly exploit the training data and image sequence.The results of this project are expected to improve the theorical level as well as the application in video surveillance of face super-resolution and even low-resolution face recognition.

视频监控在维护社会公共安全领域起着重要的作用。在监控视频中，人脸由于起到身份辨识的重要作用而备受关注。然而，在实际的监控视频当中，人脸所占区域分辨率很低，据此进行准确的身份辨识非常地困难。并且，目前的超分辨率技术仍然不足以解决该问题。为此，本项目提出基于多边亲合度函数和图像序列的人脸图像超分率方法，拟提高人脸图像或者视频中人脸区域的分辨率。当然，我们的目标不仅仅在于使得处理之后的人脸图像在视觉上更加清晰，更在于能够提高其辨别力。围绕着上述问题和目标，本项目主要研究的内容包括：基于多边亲和度函数的单帧人脸超分辨率方法、基于人脸约束多曲面拟合的序列图像超分辨率重建，以及结合利用训练数据和图像序列的方案等三部分内容。预期研究成果将提高人脸超分辨率乃至低分辨率人脸识别的理论研究水平及其在视频监控中的应用能力。

视频监控在维护社会公共安全领域起着重要的作用。在监控视频中，人脸图像是最受关注的目标之一，由于它对监控视频中人物身份的辨识起着重要作用。然而，在实际监控视频当中，由于成像分辨率有限，或者人距离摄像头距离较远，在拍摄得到的监控视频中，人脸区域所占尺寸很小，由此得到的人脸图像分辨率很低，据此进行准确的身份辨识非常困难。因此，从现有的低分辨率人脸图像中重建获取具有一定视觉细节的、辨别性的高分辨率人脸图像，有着很强的实用价值。人脸图像超分辨率是能有效解决这一问题。.本项目主要研究人脸图像超分率方法，以提高现有的低分辨率人脸图像的分辨率，使得处理后得到的高分辨率人脸图像在视觉上更加清晰，并且具有更强的判别力。围绕着上述问题和目标，本项目主要研究的内容包括：基于多边亲和度函数的单帧人脸超分辨率方法，基于人脸约束多曲面拟合的序列图像超分辨率重建方法，针对人脸图像的融合单帧和多帧分辨率的策略，以及基于改善高、低分辨率人脸图像块对应流行空间的局部几何结构一致性方法等四部分内容。.具体的，本项目提出一种基于多边亲和度函数的人脸超分方法，有效地抑制了现有的人脸超分算法容易产生的非真实高频信息，在恢复人脸图像视觉效果的同时，也恢复其鉴别力；在基于人脸约束多曲面拟合方案中，本项目将人脸图像中高阶纹理和空间位置之间的关系有机地融入到基于多曲面拟合的多帧图像超分辨率方法中来；此外，本项目探讨了人脸超分和序列图像超分辨率之间的相互关系和相互作用；为了处理高、低分辨率流行空间的局部几何结构不一致的问题，我们提出两种方法：在原始流行空间结构下，学习低分辨率表示系数到高分辨率表示系数的映射函数；在低分辨率流行空间中使用另外一种距离度量，这种距离度量可以使得低分辨率流行空间模拟出高分辨率流行空间结构，使得高低分辨率流行空间的局部几何结构保持一致。.本项目中我们主要使用目前人脸识别所用的一些标准测试库，包括FEERT和FEI等多个数据集来验证我们提出的算法的有效性。经实验验证，我们的算法重建得到的高分辨率图像，无论在视觉效果上，还是在识别效果上，与现在主流的人脸超分算法相比，都有一定程度的提高。在实际的监控视频中，我们算法重建得到的高分辨率图像的识别效果显著高于原始低分辨率人脸图像的识别效果。综上，我们的研究成果既提高了人脸图像超分辨率别的理论研究水水平也提高了其应用能力。