基于间隔理论的动态选择性集成学习算法研究

For dynamic selective ensemble learning algorithm, it dynamically selects the base learners from the original ensemble for each new test sample and has been a hot topic in the ensemble learning community. Margin is a core notation in ensemble learning, and it is used to explain the internal working mechanism of ensemble learning. This project intends to study dynamic selective ensemble learning algorithm based on margin theory systematically. On one hand, confidence-based margin, unsupervised margin and regression-based margin are used in the design of dynamic selective ensemble algorithms in different situations, respectively. In this process, the internal relationship between margin and the other important parameters in dynamic selective ensemble learning will be explored. On the other hand, the performance of the proposed algorithms will validate and improve the corresponding margin theory in further. The achievement of this project will enrich the design of dynamic selective ensemble algorithm and develop the corresponding margin theory. Meanwhile, it will provide reference for other problems in ensemble learning.

动态选择性集成学习算法根据测试样本的特点为其有针对性地选择基学习器，是目前集成学习领域中非常活跃的一个研究方向。间隔是集成学习中的一个核心概念，被用来解释集成学习的内在工作机制。本项目拟将两者结合，基于间隔理论系统地研究动态选择性集成学习算法。一方面，在不同的问题情境中，分别以基于置信度的间隔，无监督的间隔和基于回归问题的间隔为出发点构造动态选择性集成学习算法。在此过程中，深入探究间隔和动态选择性集成学习中其他重要参量之间的内在关系。另一方面，根据所构造算法的实际性能进一步验证和改进相应的间隔理论。 这些研究成果不但能够丰富动态选择性集成学习算法的设计思路，进一步完善和发展动态选择性集成学习中的间隔理论，而且可以为集成学习中其他问题的研究提供重要参考。

本项目主要研究了三个方面的内容：（1）知识约简。其目的是简化知识的存储和表达，增强获取重要知识的能力，提高学习器的泛化性能。 本项目主要研究了知识约简中的属性约简和概念约简。（2）动态选择。其根据测试样本选择学习器，不同测试样本可能对应不同的学习器。本项目基于间隔理论和预测置信度探究动态选择，给出了新的动态选择方法。该方法同时适用于分类问题和回归问题。相对于已有的动态选择方法，该方法不需要为样本确定局部区域。另外，所提方法对噪声具有一定的鲁棒性。（3）集成与表示。主要研究成果包括: 基于学习器的预测置信度，提出了同时适用于分类集成和回归集成的动态加权集成方法；探究了基于证据理论的集成与表示方法等。实验结果和理论分析表明，所提方法能够形成更加全面和更加完整的特征表示，获得更加稳定和更加准确的决策规则，有效了提升系统的泛化性能。