基于不确定先验知识的支持向量机理论与算法研究

Incorporating prior knowledge into support vector machine (SVM) to enhance its generalization ability has been a research focus recently in machine learning fields. However, there were less concentration on designing kernels by double uncertainty prior-knowledge and solving the related nonconvex optimization problem. This project investigates theory and algorithm of SVM for learning problems with fuzzy-random prior-knowledge. Centered on kernel-design by using fuzzy-random prior-knowledge, three contents are studied by taking reproducing kernel Krein space, uncertainty, differential inclusion and statistical learning theory as tools. (1) A new class of kernels is designed by using fuzzy-random prior-knowledge under the framework of Krein space. (2) A neural network is modelled for the nonconvex optimization problem induced by indefinite kernel-based SVM. (3) Analysis and verification of theorty and alogrithm are performed for fuzzy-random prior-knowledge-based SVMs. In theory, a new framework is presented for designing kernels by prior knowledge. In practice, a new estimation of empirical generalization error-bound is provided for uncertainty prior-knowledge-based SVM. An efficient neural network alogrithm is given to slove the nonconvex optimization problem which is yielded by indefinite kernel-based SVM. Thus this study guarentees the applications of uncertainty prior-knowledge-based SVM.

在机器学习领域，通过将先验知识结合到支持向量机以提高泛化能力是近来研究的热点。但是利用双重不确定先验知识设计核函数及所相关的非凸优化问题的求解鲜有关注。本项目以具有模糊-随机先验知识的学习问题为研究对象，对支持向量机理论与算法进行研究。以再生核Krein空间、不确定性、微分包含以及统计学习的相关理论为工具，围绕模糊-随机先验知识设计核函数开展以下三个方面的研究。（1）在Krein空间框架下，利用学习问题的模糊-随机先验知识设计核函数；（2）针对不定核支持向量机导出的非凸优化问题设计神经网络优化算法；（3）模糊-随机先验知识的支持向量机理论与算法的分析与验证的研究。理论上，为不确定先验知识设计核函数提供新的框架。应用上，为不确定先验知识支持向量机提供经验泛化误差界的新估计；给出求解不定核支持向量机非凸优化问题的高效的神经网络算法，为基于不确定先验知识的支持向量机应用提供保障。

支持向量机(Support Vector Machine, SVM) 是机器学习领域中一种最先应用核函数理论的统计学习算法。No Free Lunch 定理表明，即使经验误分率很低、训练集合规模很大，算法在训练集合上表现很好，算法也未必能够有效推广到测试集，学习算法的泛化能力依赖先验知识。因此，先验知识与SVM的结合成为近年来机器学习领域研究热点之一。.进行了以下三个方面的研究：（1）在Krein空间框架下，利用学习问题的Takagi-Sugeno模糊规则先验知识设计核函数；（2）针对不定核支持向量机导出的非凸优化问题设计神经网络优化算法；（3）模糊-随机先验知识的支持向量机理论与算法的分析与验证的研究。.获得了以下有意义的研究结果：（1）针对二类分类问题、回归问题中的Takagi-Sugeno模糊规则形式先验知识，设计模糊隶属核函数，讨论判定核函数的正定性，分析相应的支持向量机泛化能力，验证Takagi-Sugeno模糊规则先验知识的有效性；（2）设计了次梯度神经网络（Subgradient Neural Network，SGNN）算法，证明SGNN解的存在性、唯一性以及有限时间收敛到可行域，并给出有限时间的估计不等式。证明SGNN解与slow解的一致性，利用Lojasiewicz指数，计算SGNN解的收敛速率。（3）针对支持向量机导出的二次规划问题，设计离散神经网络算法，证明离散神经网络全局指数收敛；（4）应用理论结果和算法，说明上述结果的可行性，验证所构造的算法对求解这些优化问题的有效性。.本项目的完成为支持向量算法的应用提供理论支持，是对支持向量机理论与算法研究的丰富和发展。