黎曼流形与仿射包模型在图像集识别中的研究

Riemannian manifold and affine hull model are popular techniques for image set classification. Our preliminary research has manifested that the essential feature of affine hull model in image set classification is the intrinsic feature (image pixels). However, the statistical variation feature is also crucial in image set classification. As we know, the statistical variation feature of linear subspace and covariance matrix are lying on Riemannian manifold, it is benefit to image set classification by combining the Riemannian manifold and the affine hull model, since it is able to merge the statistical variation feature and intrinsic feature of image set. Under this hypothesis, we propose to build the multiple classifiers hierarchical ensemble model of Riemannian manifold & affine hull model. The proposed method learns the Riemannian kernel to map the manifold feature to Euclidean space and forms the hierarchical classifiers, and then combines with the affine hull model. Preliminary results show that, the final ensemble model further improves the performance of image set classification. The proposed method intends to solve the problem of lacking utilization of statistical variation feature and intrinsic feature within image set by the Riemannian manifold & affine hull model methods, and provide a new research aspect for image set classification.

黎曼流形与仿射包模型是图像集识别的热点研究技术。我们前期研究表明，仿射包模型所采用的图像集分类基本特征，实际上是图像的本征特征（像素特征）。但众所周知，图像集内包含相同标签的多幅图像，图像之间的统计变化特征也是非常重要的判别信息。而这些统计变化特征如：线性子空间与协方差矩阵等，却往往被认为是黎曼流形上的特征。若能将黎曼流形和仿射包模型方法进行联合，则可同时利用图像集的统计变化特征与图像本征特征，进而提高图像集识别能力。在此科学假说下，我们拟提出建立黎曼流形与仿射包模型的层级加权多分类器联合模型。该方法通过学习黎曼核函数将黎曼流形特征（统计变化特征）映射至欧氏空间中，在映射空间建立层级分类器，最后与仿射包模型进行层级加权。初步试验表明，联合模型能够有效提高图像集识别能力。该方法拟解决黎曼流形与仿射包模型未能充分利用图像集内统计变化特征和本征特征信息的问题，为图像集识别方法提供了新的研究思路。

图像识别中由于单幅图像往往难以提供足够的判别信息，因此利用目标的多幅图像的视频或者图像集识别方法成为了研究的一个热点方向。而在视频或图像集的表达方式中，黎曼流形与仿射包模型是两种较为常用的方法。项目分别对基于黎曼流形和仿射包模型的图像集识别方法展开了研究。据相关研究表明，线性子空间与协方差矩阵等数据特征，往往被认为存在于黎曼流形上。项目首先研究了基于线性子空间的图像集识别方法，提出了一种基于特征谱正则化的受限子空间图像集识别方法，解决了使用线性子空间的图像集识别方法在处理小样本问题时出现的过拟合、泛化能力差等问题。因为线性子空间可组成Grassmann流形，因此项目提出了一种特征谱正则化的Grassmann流形判别分析方法，Grassmann流形提高了图像集合的表达能力，特征谱的正则化使其泛化能力也得到了增强。图像集合的协方差矩阵（需对称正定）可组成另外一种黎曼流形，我们称之为SPD流形，项目提出了一种特征谱正则化的图嵌入协方差判别学习方法，该方法相比正则化的Grassmann流形判别分析方法，在光照变化和角度变化较大的图像集上具有更好的稳定性。项目对仿射包模型也展开了相关研究，提出了一种正则化仿射包人脸图像集识别的核快速算法，该方法解决了正则化仿射包模型的非线性人脸图像集识别问题；其提出的核正则化仿射包协同表达算法，在目前基于仿射包模型的算法中取得最快的识别速度。仿射包模型所采用的图像集分类基本特征，实际上是图像的本征特征，也就是用欧氏距离度量相似度；而黎曼流形特征所使用的相似度度量是流形距离。因此项目进一步研究了将仿射包模型和黎曼流形进行融合表达的方式，从而进一步得到更好的图像集识别能力。项目提出了一种融合仿射包模型和黎曼流形的尺度学习方法，该方法相比项目初始提出的层级加权的多分类器联合模型，更具有理论化、智能化、可操作性强等特性，实验也证明了其优越的性能。项目对使用黎曼流形和仿射包模型进行图像集识别研究提出了许多有意义的想法和改进，在黎曼流形、特征谱正则化、仿射理论、快速算法、融合特征、尺度学习上打下了一定的理论基础，具有良好的科学意义。