稀疏流形建模及其在视频人脸识别中的应用

Under the unconstrained condition, video-based face recognition becomes one of the hottest and most difficult subjects in biometric identification and human-machine interaction technology. Following by characteristics of video sequence, this project will focus on studying the between-set distance. First, with the reference set as the bridge, unsupervised manifold alignment methods will be researched in our work, especially for the statistical model on reference set, the alignment algorithm based on Markov Random Fields and the extension algorithm of space spanned by image set. Next, by exploiting two priors in video sequences, referring to the structure information of gallery sets and the self-correlation of a probe set, the joint double sparse representation model will be proposed, which reduces the sparse representation and the structured sparse regression into a unified model. Finally, from the view of sparse regression, a unified framework of manifold-to-manifold distance, including pairwise distance among point, subspace and manifold, will be casted in our work. Especially, in theory and experiments, we will prove that sparse regression may shrink the space spanned by face images, which is also the key to calculate the between-set similarity by the reconstruction error. The above theories and methods will promote the development of video-based face recognition technology, and further bring more applications in the information security field.

非可控条件下视频人脸识别是生物特征识别和人机交互领域的研究热点和难点。根据视频序列的特点，本项目将着重研究图像集间距离的鲁棒计算这一问题。首先，以参照集为媒介，研究无监督的流形对齐方法。重点研究参照集的统计模型，基于马尔科夫随机场的对齐方法，图像集空间外延。其次，充分利用视频人脸图像序列的两个先验信息：注册集的结构性和测试样本内部的相关性，构建双稀疏联合回归模型，将稀疏和结构化稀疏统一到同一模型下。最后，从稀疏回归的角度，提出一个流形到流形的距离框架。 点、子空间、流形两两之间的距离计算都可以纳入这一框架。特别地，我们也将从理论和实验上来验证：稀疏回归能收缩人脸图像张成的子空间，这也是用稀疏重构残差作为距离的优越性的根本原因。预期上述理论和方法有利于视频人脸识别技术的发展，同时也能够促进其在信息安全领域的应用。

随着信息电子技术的快速发展，人们需要处理日益增长的多媒体资源数据。不同于传统的少量样本的处理任务，目前的数据处理更多的涉及到同一主题含义下大量样本的学习，即从孤立的单张/少量样本到数据集合作为整体的处理。对此，该项目从视频人脸识别这一特定任务出发，以稀疏表示和流形学习作为理论基础，从以下四个方面开展了一系列研究工作：.（1）视频序列中人脸图像的采集。结合传统的静态图像中特定目标检测的方法，利用视频序列的动态性和连续性，提出了分块表观模型与背景模型估计模型、结构化偏最小二乘等在线目标跟踪方法，以助于视频序列中人脸图像的精确定位和收集。.（2）图像集之间的对齐。提出了一种建模数据集之间关系的无监督流形对齐学习模型。该模型形式化流形对齐为包含流形表观特征匹配、几何结构一致性匹配以及结构保持三个特性的混合整数规划模型。由于其普适性，该模型可广泛应用于解决多种计算机视觉问题。.（3）图像集的表示。从全局的角度出发，提出了一种图像集联合稀疏表示的模型，将单张图像的稀疏编码和图像集合的整体表示纳入到一个框架下。从局部的角度出发，提出了一个统一描述静态图像和视频序列的稀疏编码局部描述子框架，该描述子通过统计建模人脸图像/视频序列在空间/时空体区域上的特征表示，大幅度缓解了由于人脸图像欠配准问题所引起的识别性能衰退现象。.（4）图像集之间的相似性度量。首先，利用视频序列的整体性和局部性，提出了一种以稀疏重构残差作为图像集距离的度量方法。其次，利用图像集的二阶特征（协方差矩阵）的特性，提出了一种在黎曼流形上迁移协方差矩阵的方法。该方面可以推广应用于图像集之间的流形距离计算。最后，提出了一种局部仿射凸壳约束的自适应流形距离计算方法，将点、子空间与流形之间距离的纳入到一个统一框架下。.该项目的研究工作发展和完善了稀疏和流形对图像集表示和建模的理论。其中所提出的图像集建模方法不仅可以应用于视频人脸识别问题（如门禁系统和视频监控等安全防范），还可以推广应用于一般的模式分类问题。.该项目顺利完成了预期的主要内容和目标，共发表了15篇论文和撰写了1篇博士论文，其中包括SCI 论文7篇，国际顶级会议论文CVPR、NIPS和ECCV各1 篇。截止到目前，所发表论文的Google引用次数累计达到150次。在该项目的支持下，其负责人的博士学位论文被评为中国科学院“百篇优秀博士论文”。