聚类导向的字典学习及基于稀疏表示的高维数据聚类研究

High dimensional data cluster analysis is one of the hot and difficult topics in data mining nowadays, and has a wide range of applications in Internet knowledge discovery and management decision support. While sparse representation related theory, which has been applied in machine learning and pattern recognition successfully in recent years, provides fresh thought to the research on high dimensional data clustering. This proposal, aiming to improve the sparse representation theory and high dimensional data clustering method, is planned to research on clustering-oriented dictionary learning and introduce sparse representation theory to the related problem study of high dimensional data clustering. The main contents of the research are as follow:.(1) Exploration for mechanism of sparse representation theory and its successful application in classification task; establishment of sparse representation model with different types of high dimensional data and research on the high dimensional data clustering task-oriented sparse dictionary learning algorithm..(2) Research on missing value imputation and similarity measurement of high dimensional data with different types based on the solution results of sparse representation, to provide a basis for the high dimensional data clustering algorithm via sparse representation..(3) Research on the system of high dimensional data clustering from the point of view of clustering effectiveness validation method and clustering algorithm on high dimensional data, to optimize the result of high dimensional data clustering mining.

高维数据的聚类分析，是当前数据挖掘的研究热点和难点之一，在互联网知识发现及管理决策支持中有着广泛应用。而近年来稀疏表示相关理论在机器学习和模式识别中的成功应用为高维数据聚类研究提供了新的思路。本项目以完善稀疏表示理论及高维聚类方法为目标，研究聚类导向的字典学习方法，进而引入稀疏表示理论研究高维数据聚类相关问题。主要将研究以下内容：.（1）探索稀疏表示理论及其在分类任务中成功应用的机理，构建不同类型高维数据的稀疏表示模型，研究以高维数据聚类任务导向的稀疏表示字典学习方法。.（2）基于稀疏表示求解结果研究不同类型高维缺失数据处理方法和高维数据相似性度量方法，为基于稀疏表示的高维聚类算法提供研究基础。.（3）从高维数据聚类有效性评价方法和高维聚类算法的角度，研究基于稀疏表示的高维数据聚类体系，以优化高维数据聚类挖掘效果。

作为支持管理决策的重要工具之一，数据挖掘的应用范围不断扩大，所处理的数据逐渐呈现出高维和未标记的主要特点，即高维未标记数据。本研究以完善稀疏表示理论及高维数聚类方法为目标，研究聚类导向的字典学习方法，进而引入稀疏表示理论研究高维数据聚类相关的缺失数据填补、相似性度量、聚类有效性评价和实现算法系列问题，并给出方法模型和验证分析，主要成果如下：.（1）针对大规模在线高维数据聚类的学习建模问题，研究稀疏表示的无监督字典学习方法，提出多重超图约束稀疏编码的优化目标及交替优化求解方法。其利用能有效描述高维数据多元流形关系的超图模型及超图拉普拉斯正则化约束，扩展超图矩阵对稀疏求解系数的一致性约束，增加字典学习的无监督判别能力，并通过多重集成约束项实现最优超图的自动选择。.（2）针对高维数据聚类，研究基于稀疏表示的缺失数据填补及相似性分析问题，为基于稀疏表示的高维数据聚类算法提供研究基础。提出基于局部约束稀疏表示的缺失数据无监督填补方法，并设计了三种字典构造方法。其引入距离加权l1范数和l2范数正则化项，在自动选择相似数据对象的同时，保留局部结构特征并避免过拟合。提出采用稀疏表示向量的高维数据相似性分析方法。与直接使用稀疏系数的方法相比，更真实地反映数据对象间的相似度。基本思想是两个相似对象的稀疏表示向量趋于相似，两个不相似对象的稀疏表示向量也趋于不相似。并进一步提出了两种基于稀疏表示向量相似度谱聚类的权重矩阵构建方法。.（3）从高维数据聚类有效性评价和优化聚类挖掘效果的角度，提出高维数据聚类内部评价指标及系列针对完备数据和缺失数据的聚类算法。并针对高维数据无监督挖掘的学习建模问题，提出基于近邻加权稀疏表示的无监督图学习方法，同时保持高维数据的稀疏性和局部结构特征，降低传统的基于稀疏表示方法的时间复杂度，并可融合到谱聚类、子空间学习及标签繁殖等高维数据挖掘任务中，提升高维数据无监督挖掘能力。