一类适用于K-最近邻分类的非负矩阵分解方法研究

特征选择和表示是当今对海量数据进行模式识别所必然面临的问题，K最近邻分类方法(KNN)更是强烈地依赖于特征表示。KNN方法在假设样本所在的空间是各维同质、各向同性的条件下，基于样本间的欧氏距离实现最近邻样本的选择。但在许多实际应用中，观测样本的数目远远小于特征的个数，且同质同性的假设往往不成立。因此，为KNN分类器探寻合适的特征表示成为亟待解决的重要问题。本项目将以改善KNN的分类性能为目的，围绕非负矩阵分解(NMF)算法，研究相关的特征提取算法。算法的核心思想是对每个训练样本，实行随机KNN分类，使其在新的特征表示下与它的K个最近邻样本尽可能具有相同的类标签。算法的关键是利用样本的类标签构造随机KNN的性能度量指标，以保证特征提取算法得到的特征表示包含样本局部分离的信息。基于上述思想设计的算法，可望有效改善KNN的分类性能，使其在解决自然科学和国民经济各领域的模式分类问题中得到广泛应用。

本项目主要研究非负矩阵分解及相关特征提取算法在分类、回归问题中的应用，所取得的主要成果集中在下述几个方面：基于NMF的分类算法研究，基于特征提取和稀疏表示的分类算法的构造，分类问题的集成学习算法，回归模型的选择及应用，设计的算法在遥感图像处理和气象数据分析中的应用。..在NMF算法的研究方面，我们提出了一种大边际NMF算法，实现了稳健的KNN分类，凸显了数据局部分离类结构；设计了一种关系矩阵非负分解算法，为数据的相似性表示提供了一种新的描述方式；研究了如何利用NMF提取适用于KNN分类的基特征，设计了基于留一策略的有监督NMF算法。..在特征提取算法的研究方面，提出了以分类为目的的基于稀疏表示的判别学习算法，构造了能反映更多数据结构信息的稀疏邻域图和幂稀疏图；设计了基于弹性保持投影的特征提取新算法，其优点是在不破坏数据整体分布的前提下实现数据局部几何结构的保持；提出了具有较高分类精度的softmax判别分类器与softmax判别分析算法。..在集成学习方法的研究中，我们分析了训练集的样本容量对一层和两层分类器融合性能的影响，利用学习曲线研究了DECORATE及其他几种集成分类算法的误差、偏差和方差随训练样本容量变化的一般规律，为相关集成分类算法的实际应用提供了参考。在不平衡数据的分类方面，利用大量试验研究了数据集的不平衡度对敏感损失的Boosting算法性能的影响，并提出了一种新的集成分类算法IRUSRT；受限玻尔兹曼机(RBM)是一种有效的特征提取和表示算法，我们将它与集成学习相结合，提出了相关的分类算法。..针对高光谱解混问题，提出了基于Householder变换的最大单纯形体积端元提取算法，其优点是计算效率高；基于凸面几何原理，利用特征提取和高效的二维凸包计算算法，给出了一个端元提取算法加速框架。同时，研究了所提算法在高光谱解混、风速数据、极端气温分析等实际问题中的应用，取得了良好的效果。..本项目的研究截至目前共发表相关期刊论文近30篇，其中SCI检索21篇。