基于集成学习的不平衡流数据分类问题研究

The data stream classification issue has become a hot research topic in the field of data mining and machine learning. The streaming data in the real application scenarios often have the characteristics of concept drift, a large number of missing class labels, class imbalance, and complex data distribution. The problems such as easy over-fitting, insufficient utilization of data, high complexity of concepts and low recognition rate of minority samples have been brought. This project aims to propose a high-quality real-time classification method under the background of data stream environment with scarce labels and imbalanced class distribution：1. A drift detection mechanism based on data distribution is proposed to detect the drift time in time. 2. Through identifying the recurrent concepts, the labeled samples of the candidate chunk are added. 3. A selectively resampling mechanism is proposed to balance the class distribution, which can avoid drifting samples and complex types of samples. 4. The update and weighting methods of ensemble members are studied, and a classification model which can react to multiple kinds of concept drift is constructed. This research of this project not only provides a theoretical basis and scientific basis for the classification of imbalanced streaming data, but also promotes the application of information technology in social development.

数据流分类问题是数据挖掘与机器学习领域的研究热点。现实应用场景中的流数据往往具有概念漂移、类别标签大量缺失、类别分布不平衡、复杂数据分布等特点，并由此带来了易过拟合、数据利用不充分、概念复杂度高、小样本的识别率低等问题。本项目以样本类别标签稀有且类别分布不平衡的数据流环境为背景，旨在提出高质量的实时分类方法：1.提出基于数据分布的漂移检测机制，及时地检测出漂移时刻；2.通过识别重现型概念，以增加候选块中的标记样本；3.提出一种选择性重采样机制以平衡类别分布，可以避免漂移和复杂类型的样本；4.研究集成成员的更新和加权方法，构建可应对多类型概念漂移的分类模型。本项目的研究不仅为不平衡流数据的分类提供了理论基础以及科学依据，同时可以推进信息技术在社会发展中的应用。

在大数据的应用背景下，流数据分类技术已经成为研究热点。流数据往往具有数据量巨大、高速到达、类别分布不平衡、类别标签不足、复杂数据分布、概念漂移等特征，使得传统的数据分类技术无法很好地处理流数据。基于此，本项目从增量学习、集成学习、类别不平衡学习等方面展开研究，提出了一个不平衡流数据集成分类模型，主要工作如下：（1）针对流数据中的类别标签不足问题，提出了概念漂移检测机制、重现型概念识别机制、分类器权重拟合机制，其中同时利用了非监督性样本与监督性样本的统计量。（2）针对流数据中的复杂数据分布和类别不平衡问题，提出了选择性重采样机制，可以获得类别分布平衡的候选数据块，因此候选分类器对小样本具有较好的分类性能。通过数据子块划分方法，选择性重采样机制可以应对在线学习场景中的类别对调问题。同时，通过使用基于距离计算的数据分布相似度评估方法，可以避免在候选数据块中引入与当前数据分布不一致的小样本和复杂性样本。（3）针对流数据中的概念漂移问题，提出了可处理多类型概念漂移的流数据分类模型。首先，提出了集成成员更新方法，所构建的流数据分类模型可以及时地处理各种类型的概念漂移，同时模型的性能对预定义的数据块大小具有较好的鲁棒性。然后，提出了集成成员加权机制，赋予候选分类器最高的权重，先前分类器的权重由其对候选数据块样本的分类性能所决定。该集成成员加权机制可提高模型对缓慢变化的漂移以及重现型漂移的适应能力。同时，分段函数使得基础分类器权重的评估避免使用交叉验证，提高了模型对流数据处理的实时性。最后，提出了基于性能的集成剪枝技术，保证了模型具有较小的时间和空间花销，通过及时从集成框架中去除性能最差的若干基础分类器，使得集成分类模型能够较快地适应动态变化的数据分布。本项目的研究可有助于挖掘海量实时流数据的价值，进一步推动我国流数据的研究和发展。