特征空间中的稀疏表示及其分类研究

In recent years, sparse representation based classification method has attracted wide attention in patter recogntion and machine learning community. It is very robust to the noise such as the occlusion in the image. This method can achieve good classification result in high dimensional applications such as face recognition. However, sparse representation based classification method usually needs two assumptions. The first assumption is that the resolution of the sparse representation needs to be sufficiently sparse. The second one is that sample vectors belonging to different classes should distribute on different vector directoins. These assumptions are often satisfied in the real-world applications. Moreover, we may encounter the other learning situations. The typical sparse representation based classification method may fail to achieve desirable classification performance under the condition that the sample dimensionality is very low whereas the training set is very large-scale. In order to address the above problems, this research project will map the samples of the original input space into high dimensional feature space, and exploit sparse representation theory to classify the samples. We also investigate the relationship between the data dimensionality and the nunber of the training samples, as well as the dictionary learning involved in the method. This research will greatly enrich the theory of the sparese representation based classification, and enlarge the application areas of this classification approach. It can deal well with both high dimensional samples and low dimensional samples, and then classify them.

近年来，基于稀疏表示理论的分类方法在模式识别与机器学习等领域得到了广泛的关注。它对遮挡等噪声具有很强的鲁棒性，在图像识别如人脸识别等高维应用领域取得了较好的效果。不过，此类方法取得好的分类效果往往需要两个假设条件。第一，稀疏表示求解须是充分稀疏的。第二，属于不同类的样本向量需分布在不同方向上。这些假设在实际应用中是很难同时满足的，而且还会遇到其他情况，如样本维数低而训练样本数很多，经典的基于稀疏表示理论的分类方法将难以取得好的分类效果。为解决上述问题，本课题拟将原始输入空间中的样本映射到高维特征空间中，采用稀疏表示理论对样本分类，并重点研究数据维数与训练样本个数之间的关系，以及此类方法中涉及的字典学习。通过此课题的研究，将会大大丰富基于稀疏表示的分类方法的理论体系，并将扩大这种分类方法的应用范围，使其既能处理高维数据又能对低维样本表示并分类。

本研究主要针对原始输入空间中的经典稀疏表示分类方法的不足做了大量探索，提出很多切实可行的改进方法，并进一步给出特征空间中的一系列稀疏表示分类方法及相关理论。经典的稀疏表示分类方法常存在不少问题，例如，在很多情况下，经典稀疏表示模型的解往往不是充分稀疏的；样本维数低而训练样本数很多等问题。这些情况都将导致经典稀疏表示分类方法将难以取得好的分类效果。. 为解决上述问题，本课题将原始输入空间中的样本映射到高维特征空间中，采用稀疏表示理论对样本分类。经过约四年的研究，提出了很多特征空间中的稀疏表示分类方法，它们主要如下。第一，将特征空间中的稀疏表示与局部学习结合起来，研究核局部鉴别分析等方法，推广了特征空间中的稀疏表示学习。第二，具体研究了特征空间中的小样本学习问题，即训练样本数很少的问题，提出了一类构建虚拟样本的策略来解决此类问题。第三，在特征空间中，给出了基于L0范数最小化的稀疏表示分类方法。第四，提出了特征空间中的稀疏表示算法的快速实现方法。综合利用以上这些方法既可以得到很好的分类结果，同时也能提高表示或分类效率。本研究利用大量的实验在多个数据集上验证了所提方法的有效性。. 在本课题的研究中，成功引入了多个概念及相关理论，如稀疏表示集，人脸识别中的虚拟样本和学习区域等等，这些大大丰富了基于稀疏表示的分类方法的理论体系，并扩大这种分类方法的应用范围，使其既能处理高维数据又能对低维样本表示并分类。很多快速稀疏表示算法可以用于实时或在线学习场合。