稀疏性保持的降维技术及其拓展研究

高维数据的涌现是模式识别面临的极大挑战，降维技术已成为处理高维数据，克服"维数灾难"的重要途径。研究表明降维算法可归结于图的构造及其嵌入方式。然而现有多数降维算法均基于最近邻准则建图，如LPP及其变体。虽然这类算法在很多实际问题中取得了较传统方法(如PCA、LDA)更好的性能，但导致了诸如近邻数选择、噪声敏感及无法自然地结合领域先验知识等问题。本项目旨在提出一种新的降维框架：稀疏性保持降维技术，并对此进行一系列的拓展研究。主要研究内容和目标为1）将稀疏表示引入图的构造，设计稀疏保持投影(SPP)算法，以克服LPP等的不足；2）半监督化SPP，期望借助尽可能少的无标样本提升监督算法（如LDA）的性能；3）设计自教(self-taught)降维技术，克服传统降维方法独立同分布假设的限制；4）将上述思想融入分类器的设计，以发展出稀疏保持的正则化分类算法；5）应用上述算法于单幅图像人脸识别等问题。

高维数据的涌现是模式识别面临的极大挑战，降维已成为处理高维数据，克服“维数灾难”和确保学习算法良好泛化性能的重要技术。研究表明降维算法可归为图的构造及其嵌入方式。因此基于图的降维方法的质量取决于所建图的质量。然而现有多数降维算法均基于最近邻准则建图，如著名的局部性保持投影及其变体。虽然这类算法在很多实际问题中已取得成功，但导致了诸如近邻数选择、噪声敏感、邻域自适应性缺乏及难以自然结合领域知识等问题。本项目在提出的稀疏性降维框架基础上，展开了一系列以基于图的降维研究，同时涉及分类、特征稀疏化和应用性方面的拓展研究。取得了如下主要成果：1. 在稀疏建图及降维方面，1.1）分别提出了样本依赖、图优化、稀疏约束图优化和近邻域自适应的建图和降维法SLPP、GoLPP、GODRSC和AN；所建图拥有稀疏性或/和数据依赖性或/和自适应性，弥补了先前方法的不足；1.2）分别提出了(半)监督化稀疏判别分析SPDA和局部性（蕴含了稀疏性）结构驱动的判别分析框架；1.3）揭示出了基于局部保持投影法的两面性和有效性前提；1.4）分别发展出了新的稀疏优化算法SCIHTBB和匹配追踪稀疏优化算法CSMP。2. 在分类学习方面，2.1）针对支持向量机(SVM)设计上对信息的欠利用，先借助图获得对数据知识的深层刻画，后将其以正则化项嵌入目标函数，由此分别发展出了全局与局部相结合的SVM、结合了特征判别性结构图的FDSVM、一个结构正则化的大间隔框架及其结构正则化SVM，发展和弥补了ECOC多类分类机设计中对信息的欠利用; 2.2)利用数据局部性，分别提出了一个(半)监督的分类和聚类同时学习算法和一个修正聚类假设的半监督分类学习算法；2.3）发展出了适合大规模数据的核学习算法，通过将期望子核作为边界条件，结合BCD优化实现；3. 在特征稀疏化方面，3.1）提出了分别基于稳定性准则和局部正则化推广误差界的选择方法；3.2）发展出了大相关分析投影算法，通过大相关达到特征稀疏化；4。在应用层面；开展了用局部性相关分析的传感器节点定位；图优化的图像片权重设计实现非局部均值去噪滤波器；提出了一种特征采样和特征融合的局部子图像人脸识别方法。共发表论文27篇，其中SCI期刊19篇（IEEE T. 4篇，PR 4篇），A类会议2篇；培养博士生9人，其中杨波的博士论文获2012年江苏省优博论文奖。