基于分层贝叶斯非参数模型的聚类方法

The technological developments of the last few decades have increased the volume of data daily. Develop an efficient clustering approach, which can discover homogenous groups of data in a given dataset, is an extremely critical issue in many fields. This project is devoted to developing a novel clustering approach based on Hierarchical Bayesian Nonparametric (HBN) models. Our goal is to provide a possible solution based on feature selection schemes and machine learning techniques to tackle real-world clustering problems, especially for those involving real-time and large-scale datasets. In this project, we first construct the HBN model based on hierarchical Dirichlet process. We then integrate feature selection techniques with the HBN model to form a unified framework, in order to solve clustering problems that containing high-dimensional data. Next, we develop appropriate learning approaches to learn the proposed model by estimating model parameters and model complexity simultaneously and effectively. Moreover, an online learning algorithm will also be proposed for learning the model containing streaming data or large-scale dataset. Finally, we apply the proposed HBN model on several challenging real-world applications, such as image categorization, video background modeling and foreground subtraction, text document clustering, etc. This project may progress mixture modeling and HBN models for data clustering. It may also facilitate and promote the application and development of clustering analysis in novel fields.

随着数据量的日益增多，如何能有效的把所获得的数据按照其内在相似性进行分类是目前许多领域中都急需解决的问题。本项目根据分层贝叶斯非参数模型的特点，利用特征选择技术与机器学习算法，研究新型的并适用于实时数据及大规模数据的聚类算法，使其能够为多种实际聚类问题提供良好的解决方案。本项目首先利用分层Dirichllet过程构建合适的分层贝叶斯非参数模型；然后构建一个融合了特征选择方法和所提出模型于一体的框架结构，以解决高维数据聚类问题；针对所提出的模型开发有效的模型学习算法，并针对流数据和大规模数据提出在线学习算法，用以同时估计模型参数和模型复杂度；最后，将所提出的模型有效应用在某些实际聚类问题当中（如图像自动分类、视频背景建模与前景提取、文本自动分类等）。本项目的开展一方面能对基于混合模型和分层贝叶斯非参数模型的聚类分析方法的研究起到推动作用，另一方面也能够促进聚类分析在新领域的应用与发展。

随着数据量的日益增多，如何能有效的把所获得的数据按照其内在相似性进行分类是目前许多领域中都急需解决的问题。本项目旨在开发基于新的概率分布混合模型的聚类分析方法从而能够为多种实际聚类问题提供良好的解决方案。.在基于混合模型的聚类方法中，选择一个适当的概率分布作为基础分布来描述数据对聚类性能有着至关重要的影响。根据实际应用的不同，其相关数据往往具有不同的复杂特性，而不同类型的数据则需要采用恰当的概率分布混合模型来进行聚类分析。在本项目中，项目组分别构建了基于Dirichlet、广义Dirichlet、逆Dirichlet、Beta-Liouville和逆Beta-Liouville分布的混合模型（包括参数模型、贝叶斯非参数模型和分层贝叶斯非参数模型）用来做聚类分析。.由于在高维数据中存在大量的冗余特征，从而容易导致模型复杂高，造成分析特征、训练模型的时间长、聚类效率下降等问题。因此，为了能够剔除不相关的冗余特征，并能够更加有效地处理多维数据以提高建模能力和聚类结果，我们提出了无监督特征选择方法，并将其和在前一阶段提出的混合模型整合于同一模型框架中，从而能够系统地同时进行模型参数的估算和特征的选取。.由于传统的混合模型学习算法较适用于简单模型的训练和学习，且还需要增加额外的模型选择步骤来计算模型复杂度，另外常会出现“过拟合”（over-fitting）等问题。因此，当构建好混合模型后，需要设计开发有效的模型学习方法。在本项目中，针对不同的混合模型，项目组提出了多种基于变分推导（Variational Inference）和期望传播(Expectation Propagation)算法的模型学习方法，从而能够准确地估算模型的参数和复杂度。项目组还成功地提出了基于KD树结构的加速变分推导算法来有效学习不同的混合模型，使其能够更有效地处理大规模数据的聚类问题。.本项目所提出的基于混合模型的聚类分析方法被有效地应用于多种实际聚类问题当中，如：三维物体识别、文本文档聚类、基因表达数据分类、人体行为识别、人脸表情识别、视频分割、图像分割等。