数据内在结构驱动的大间隔特征提取算法及其应用研究

Discovering most discriminatory features from data is a fundamental problem in pattern recognition. In order to deal with the high-dimensional small-sample-size data and manifold-distributed data, the project takes the advantage of frontier approaches in optimization, integrates sparse learning theory and aims to research large margin principle-based feature extraction model and algorithm and their applications to driver head pose estimation. With respect to high-dimensional small-sample-size data, from the viewpoint of the decomposition of high-dimensional space, the building of large margin model as well as parameters optimization, the project researches linear feature extraction methods which can make full use of all the discriminative information and overcome singularity and class separation problems. With respect to manifold-distributed data, the project researches graph construction based on multiple kernel learning and classification criterion, so as to describe the neighborhood relations and discriminative information. Building on the constructed graph, it further researches large margin nonlinear feature extraction model which is relevant to the subsequent pattern classification. The project researches feature extraction methods by combing large margin principle and sparsity, which can delete redundant information and improve discriminative power as well as interpretability of the extracted features. From the viewpoint of features generation, pose subspace learning and regression estimation, the project also researches appearance-based driver head pose estimation methods which is robust to identity, illumination and occlusion. Therefore, the project will promote the development and application of feature extraction methods and thus is of important theoretical significance and practical value.

从数据中挖掘最有鉴别能力的特征是模式识别的一个基本问题。本项目旨在针对高维小样本数据和流形分布数据，借鉴最优化领域前沿方法，结合稀疏学习理论，研究大间隔特征提取模型和算法，并应用于驾驶员头部姿态估计。面向高维小样本数据，从特征空间分解、大间隔模型构建和参数优化等角度，研究能利用所有鉴别信息并克服奇异性和类别分离问题的线性特征提取算法；面向流形分布数据，研究基于多核学习和分类准则的图构造方法，以刻画数据的局部近邻关系和鉴别信息，研究图上的大间隔特征提取模型和快速算法，以提取数据的非线性特征并与模式分类建立直接联系；研究能融大间隔原理和稀疏性于一体的特征提取算法，以利于消除冗余信息，增强特征鉴别能力和可解释性；从特征生成、姿态子空间学习和回归估计等角度，研究对身份、光照、遮挡等因素鲁棒的驾驶员头部姿态估计模型和算法。本项目研究将推动特征提取方法的发展与应用，具有重要的理论意义和实际应用价值。

从数据中提取有效特征是模式识别的基本问题。本项目围绕研究计划展开，将大间隔原理引入特征提取模型的构建中，并通过挖掘和分析数据内在结构以充分利用先验信息。主要研究工作集中在大间隔分类与回归方法、特征提取模型及在智能交通系统中的应用。（1）在大间隔分类与回归模型方面：针对孪生支持向量机（TSVM）未能充分利用数据先验分布知识的缺陷，分别构建刻画类内关系和类间关系的图，并恰当结合进TSVM的模型中；考虑到数据可能被异常样本干扰，将L1范数引入孪生支持向量回归（TSVR），构造一个更容忍较大异常样本的模型。（2）在大间隔特征提取模型方面：将大间隔思想和高维数据内在结构相结合，在高维数据类内散度矩阵的零空间和非零空间，分别构造两个特征提取模型，并将提取的特征进行融合；考虑到传统hinge损失在优化上的困难，以最小二乘损失为基础，构建新的大间隔特征提取模型，通过迭代求解线性方程而不是二次规划问题提高模型训练速度；考虑多模态分布数据，通过聚类算法挖掘数据的先验结构，再结合大间隔思想，构建能将不同类的子类有效分离的特征提取模型；将差准则引入基于L1范数的线性鉴别分析，以显式地平衡类内紧密性和类间可分性，同时引入矩阵正交约束，以非贪婪方式求解所有特征。（3）相关理论在智能交通中的应用方面：提出鲁棒聚类和三阶段过滤方法，充分利用先验知识，发现车辆轨迹的正常模式，利用隐Markov模型对每种正常轨迹模式建立模型，以刻画其动态变化；以轨迹之间的相似性度量和语义标签之间的相似性度量为基础，分别建立轨迹超图和语义标签超图，应用分割算法，将两个超图各自分割为多个子超图，提出融合准则以同时利用轨迹超图和语义标签超图中蕴含的信息；为实现鲁棒目标跟踪，利用鉴别显著性机制产生显著图，标注下一帧图像。然后，依据目标的历史特征建立基于区域的鉴别分类器，并以此对目标整体进行分析。本项目的研究完成了预期的成果目标，取得了一系列研究成果，为数据内在结构驱动的特征提取理论提供了新思路，同时将理论与智能交通系统中的实际应用结合，提供了一系列针对具体问题的新方法。发表论文28篇，其中，SCI检索期刊论文12篇，申请国家发明专利5项，其中3项已获授权。