基于最大相关熵准则的支持向量机模型与算法研究

Support vector machine has been a powerful machine learning technique for classification and regression estimation by means of the optimization methods. It usually implies the hypothesis that the training samples are accurate. However, in practical problems, due to various factors, the training samples often contain noises. The empirical risk expression adopted by support vector machine is a global similarity metric, which overemphasizes the influences of these training samples in the training process, and results in the poor robustness of the method. The maximum correntropy criterion is a local and robust similarity, which is suitable for non-gaussian noises. This project will make use of the optimization theories and methods, and develop the robust support vector machine models and algorithms based on maximum correntropy criterion. The study consists of the following aspects: (1) establishing robust least squares support vector machine models and algorithms based on maximum correntropy criterion; (2) studying robust least squares one-class support vector machine models and algorithms based on maximum correntropy criterion and applications. This work will establish support vector machine models and algorithms which are more suitable for practical problems, and promote the combination of information theories and support vector machine for robust learning methods.

支持向量机是数据挖掘的一项新技术，是以最优化方法为实现手段，解决分类问题和回归问题的有效工具。通常的支持向量机隐含着输入的训练点的值是精确的假设。然而，在实际问题中，由于受各种因素的影响，所获得的数据集通常含有噪声。支持向量机采用的经验风险表达是一个全局的相似度度量，过分强调了这类训练点在学习过程中的作用，造成支持向量机对噪声较敏感、鲁棒性差。最大相关熵准则是一个局部相似度度量，具有鲁棒性，适合于处理非高斯噪声问题。本项目拟引入最大相关熵准则，应用最优化理论与方法，研究具有鲁棒性的支持向量机模型与算法。具体内容包括：建立基于最大相关熵准则的最小二乘支持向量机鲁棒模型、求解算法；建立基于最大相关熵准则的最小二乘one-class支持向量机鲁棒模型、求解算法及其应用。本项目的研究将建立更适于实际问题的支持向量机模型与算法，有助于促进信息论与支持向量机的融合，为构建鲁棒学习方法提供理论依据。

支持向量机是数据挖掘的一项新技术，是以最优化方法为实现手段，解决分类问题和回归问题的有效工具。通常的支持向量机对噪声较敏感、鲁棒性差。本项目利用最大相关熵准则的鲁棒特性，应用最优化理论与方法，对临近支持向量机模型、最小二乘支持向量机模型和半监督最小二乘支持向量机模型进行研究。构建了基于最大相关熵准则的临近支持向量机模型，提出相应的求解算法，并进行了模拟数据和真实数据实验。对两分类问题中存在标签噪声的情况，提出非凸的损失函数来限制分类问题中标签噪声所噪声的影响，建立基于非凸损失函数的鲁棒支持向量机分类模型与算法，并通过数值实验验证了模型和算法的有效性。受矩阵模式数据学习和半监督学习的启发，针对最小二乘支持向量机对噪声较敏感，我们提出半监督矩阵模式的最小二乘支持向量机模型与算法，并通过大量数值实验验证了模型与和算法的有效性。本研究为抑制含有各类噪声的数据集的学习提供了新思路，建立了更适于实际问题的支持向量机鲁棒模型与算法，促进了信息论与支持向量机的融合。项目资助发表SCI、EI论文2篇，待发表2篇。项目投入经费3万元，支出1.6960万元，各项支出基本与预算相符。剩余经费1.3040万元，剩余经费计划用于本项目研究后续支出。