多重稀疏特性的核子空间分析理论与应用

Kernel subspace analysis is one of the most effective feature extraction methods. Using the kernel trick, it is powerful to discover the underlying intrinsic nonlinear structure of the high-dimensional data. However, existing kernel subspace analysis method possesses merely one sparsity property which is useful to fast feature extraction by reducing the number of computation of kernel functions. Obviously, existing kernel subspace analysis lacks of several important sparsity properties which even occur in sparse linear subspace analysis. This drawback leads the kernel subspace analysis not to be efficient, interpretable, and robust to occlusion， noise, and overfitting. To overcome the above disadvantages, we propose a unified kernel subspace analysis framework so that it has multiple desirable sparsity properties. By sparsity tranfer and explicit feature map, we make the very high dimensional projection vectors and the expansion coefficients in feature space are sparse. This project also proposes a sparse feature weighting method in the framework of kernel subspace analysis with the benefit of better discriminative ability. The proposed methods are expected to remarkably improve the feature extraction and pattern classification performances for high-dimensional data such as image and video. Therefore, the project has significant contributions for the visual computing community.

由于能通过核函数途径挖掘高维数据的内在非线性结构，核子空间分析已成为最有效的维数约简方法之一。但现有稀疏核子空间分析仅有单个稀疏特性，其作用仅限于减少核函数计算次数以提高特征提取速度。显然，现有核子空间分析缺乏多个重要的稀疏特性，甚至都不具备稀疏线性子空间分析已有的稀疏特性。稀疏特性的缺失极大限制了核子空间分析的局部性(抗遮挡)、抗过拟合性、鲁棒性、高效性和可解释性。为克服上述严重问题，本项目提出具备多重优良稀疏特性的核子空间分析理论，通过稀疏度转化和显式特征映射，使特征空间的甚高维投影向量本身，以及甚高维投影向量对应的投影系数也具有稀疏特性。还提出稀疏特征加权和维数约简统一在稀疏核子空间分析框架下同时进行的方法，比单独进行的方法能使总体目标达到更优并具有更强的鉴别力。由于赋予了多重优良的稀疏特性并显著提高特征提取和分类性能，本项目对核子空间分析理论发展及在视觉计算中的应用具有重要作用。

子空间分析是图像、视频等特征提取的重要途径，在智能视频监控和人机交互等领域有着重要的应用。具有稀疏特性的核子空间分析对提高系统的识别率、可解释性具有重要的作用。本项目主要取得了如下成果。(1)提出了近似零范数的稀疏核主成分分析算法DC-KPCA：为了提高KPCA降维效率，提出利用近似的零范数对叠加系数施加稀疏约束，能够得到稀疏性很好的系数。降维时，去除大量系数为零的训练样本，所以能够显著提高降维速度。通过实验还发现该算法对离群点具有不错的鲁棒性; (2) 提出了基于隐式Gabor滤波的核子空间分析方法: 非线性子空间分析方法作用于Gabor特征。但并不直接提取Gabor特征，而是通过帕斯瓦尔定理进行隐式Gabor特征提取，且将特征提取与无监督核子空间统一在同一个过程中进行。在不降低识别率的基础上，显著提高了特征提取的效率。(3)提出了基于双高斯核的局部保持投影子空间分析方法: 两个高斯核对局部保持进行惩罚，一个高斯核度量两个样本高维相似性，而另一个高斯核度量图像内容的相似性。为了用高斯核度量图像内容相似性，我们从图像中提取诸如SIFT、HOG、LBP、Gabor等图像描述子。(4) 提出了基于核卷积降维的卷积神经网络方法： 通过端对端的学习机制学习出最优的核，利用核进行池化，克服了传统池化不能达到最佳分类的局限；另一方面，为了进行大幅度维数约简，提出了一种简化核卷积的维数约简方法。(5) 提出了基于无穷范数的二值线性判别分析算法BLDA: 将目标函数表示为类内散布矩阵和类间散布矩阵之差的无穷范数，而且最优解是以迭代形式得到，避免了耗时的特征值分解。(6) 提出了基于前景稀疏结构特性和连通结构特性的增量式子空间视频目标提取方法：从目标函数设计入手，同时引入了数据保真项、前景-背景双稀疏项、前景连通项。用少量基函数表示背景，用L1范数刻画稀疏性，用马尔科夫模型表达连通性。