基于概率模型的多层递阶模糊分类系统及其快速学习方法

With the increase of input dimension, the number of fuzzy rules and identification parameters will increase exponentially for the fuzzy classification system. To solve this problem, the hierarchical fuzzy classification system is an excellent solution, which connects a series of low dimensional fuzzy systems in a multi-layered structure. However, the physical meaning of intermediate variables between layers is not clear in the hierarchical fuzzy classification system. There is no clear way to select the features used in each layer. The structure identification and antecedent/consequent parameter learning of fuzzy rules are often performed in different stages, thus the relationship between input and output space can not be established. Therefore it is difficulty to obtain the optimal performance and interpretability for the hierarchical fuzzy classification system. In addition, the classical hierarchical fuzzy classification system is not suitable for large scale dataset scene. In view of these challenges, this project aims to develop a multi-layered hierarchical fuzzy classification system based on probabilistic model and its fast learning method. Firstly, the structure model of multi-layered hierarchical fuzzy classification system will be established, and the hierarchical representation mechanism will be designed. Second, based on probabilistic model, the collaborative learning for structure determination and the antecedent/consequent parameters of fuzzy rules will be proposed. Third, using the acceptable hierarchical selection and sampling strategy on Bayesian inference, a fast learning method will be proposed to extend the proposed system on the large scale datasets.

模糊分类系统随着输入向量维数的增加，模糊规则和辨识参数的数量迅速增长。分层模糊分类系统将一系列低维的模糊系统以多层次的方式连接起来，可较好地解决这一问题。但分层模糊分类系统层次间的中间变量物理含义不清晰；无明确方法选择各层次使用的特征；模糊单元的结构识别和前/后件参数学习常分阶段执行，无法建立输入和输出空间之间的联系。因此所得系统的性能和解释性往往达不到最优。另外，传统的分层模糊分类系统也不适用于大规模样本的场景。鉴于此，本课题组拟开展基于概率模型的多层递阶模糊分类系统及其快速学习方法的研究。主要研究内容有：1)探讨多层递阶模糊分类系统的模型构造和分层机制的设计；2)探讨基于概率模型的模糊单元“结构识别+模糊规则前/后件参数辨识”协同学习策略；3)探讨性能可接受的层次选择和基于贝叶斯推理的样本采样方法来解决系统面向大规模数据集的快速学习问题。

分层模糊系统和概率模型是常用于描述复杂问题不确定的两类方法，但两者的侧重点不同：分层模糊系统能够较好地描述自然语言的不确定性，即语义的不确定性；概率模型能够较好地描述由系统固有偶然性或变异性带来的随机不确定性，即系统性能或预测结果的不确定性。我们认为，传统的模糊学习或概率论均不能同时有效地处理系统不确定性和语义解释不确定性，但将两者相结合可以对系统进行可靠性建模与分析。本课题的工作重点是如何将概率模型和模糊系统结合起来对复杂系统进行建模。为此我们提出了一系列基于概率模型TSK模糊系统及其快速学习方法。主要工作为以下3个方面：1.为了增加模糊系统的分类性能，将贝叶斯模型引入TSK模糊系统框架中，提出了贝叶斯TSK模糊分类器。其在贝叶斯推理框架下使用联合概率模型来表现模糊分类，并使用马尔科夫蒙特卡洛方法构造一条马尔科夫链对模糊规则的前后件参数进行同时学习，该分类器使用最大后验策略，可以保证所得模糊分类器的前/后件参数均为全局最优解。2.为了增加模糊系统的可解释性，提出了一种在贝叶斯模型中同时进行特征选择和规则生成的集成方案。该模型将特征选择、结构识别和参数学习表示为贝叶斯模型，并使用序列重要性重采样算法同时获得最佳参数，包括每个模糊规则的最佳特征、规则数量和规则的前/后参数。由于集成的学习机制，该模型可以选择一小部分有用的特征并获得少量的规则。3. 探讨了分类模型结合凸包技术在大规模数据集上的分类问题。针对常规面向大规模数据的分类器都基于样本无噪声的前提且对噪声敏感的特点，提出了面向大规模噪声数据的软性核凸包分类器。其采用分组的软性核凸包向量选择方法有效约减训练样本数目。研究成果包括：发表学术论文20篇，其中被SCI收录17篇；发明专利授权2项，申请发明专利2项；软件著作权授权2项。