非负矩阵分解中维数约简问题的研究

The feature represents of high demension negative data set is the core task in the field of pattern recognition, machine learning and image processing.Non-negative matrix factorization ( NMF ) is an effective technique for feature representation and low rank approximation.Dimension reduction factor r in NMF directly affect the calculation results of decomposition, such as r is too large, form data redundancy to increase the computational effort and memory space; r is too small, then the loss of useful information and influence the effect of NMF approximation. But the NMF algorithm almost all need to be given the value of r in advance, is an important problem which is in NMF. This project from a new point of view, the discussion and Research on the characteristics for a special cone will be formed by the data space. According to our research group in this work accumulation, and determine the value of r in the basis matrix W process, then have nonnegative constraints or non negative sparse constrained least square model, by the optimization method obtained coefficient matrix H. We will present the improved NMF method ( INMF ) and NMF method ( SNMF ). The algorithm framework without the given r value in advance, the problem is converted into a low order convex problem, avoid NP-hard difficult.The workload is reduced obviously, and the preliminary simulation results show the effectiveness of the new algorithm and the dimensionality advantage.

高维非负数据集的特征表示是模式识别、机器学习和图像处理等研究领域的核心课题，非负矩阵分解（NMF）是特征表示和低秩逼近的有效技术。NMF中的维数约简因子r 是直接影响特征表示的重要指标：如r取得过大，就加大计算工作量和存储空间;r取得太小，就丢失有用的信息而影响NMF的逼近效果。但目前几乎所有的NMF类算法都需要事先给定r的值，如何自适应得到r的值就成为NMF中具有挑战性的重要课题。本项目创新性地从讨论和研究数据空间形成的特殊锥（cone）的特性入手，依据我们课题组多年的工作积累，在构造基底矩阵W的同时确定r的值,然后通过解非负约束或非负稀疏约束最小二乘模型，通过最优化方法求得编码矩阵H。提出了改进NMF方法（INMF）和半NMF方法（SNMF）。该算法框架无需事先给定r的值，将问题转化为一个低阶凸问题，避免了NP-hard的困难，计算工作量明显减少，初步模拟结果体现了新算法的有效性

该项目抓住非负矩阵分解中高维数据“降维”这个核心问题进行了深入的研究。在该基金的支持下，我们利用向量系的数值相关性理论等工具，构造数值稳定的计算方法。并将我们的研究成果应用于神经计算方面，得到了一些有意义的结果。主要包括（1）我们提出了名为正交成分分析（orthogonal component analysis，OCA）的快速线性降维算法。OCA主要用于实现两大目标：低计算复杂度的线性降维，以及自动的目标维数确定。OCA在计算过程中无需求解特征值问题或矩阵求逆问题，以Gram-Schmite正交化过程为基础进行特征空间正交基底的提取，因此保证了较低的计算复杂度。（2）增量式正交分量分析IOCA。形成快速而有效地从高维数据中提取有用信息的方法。作为一种重要的降维技术在机器学习、数据挖掘等领域得到应用。（3）提出一种新型神经网络——感知进化神经网络。目前已有的非监督学习算法中，所有数据输入都有着固定的数据维度。而在真实的学习环境中，一个新的感知通道的数据时常会产生，这是一种在线自组织增量学习神经网络，相比于传统无监督机器学习算法，其由多方面优势。（4）提出了一种基于局部分布学习的自组织增量学习神经网络：局部分布自组织增量学习神经网络（LD-SOINN）。其采用局部的距离矩阵学习和自适应的在线更新策略，从而更好地适应动态变化的数据环境；能够合并相邻并具有相似主成分的神经元节点，使得生成的网络结构更加简洁有效。.在项目资助下，共计发表论文25篇，包括神经网络领域著名国际刊物<IEEE Trans. On Neural Networks and Learning System>（影响因子6.108）、<Neural Networks>（影响因子5.287）、<Neurocomputing>（影响因子3.317）和顶级国际会议IJCAI、知名国际会议IJCNN、ICPR、ICONIP等。发表文章中SCI收录5篇，EI收录25篇。申请国家发明专利7项，其中获授权4项。