噪声数据的非凸损失函数支持向量机最优化模型与算法研究

It is a classic problem to overcome the influence of noise in data mining. With the increasing amount of data, there are more and more numbers and types of noise. The impact of noise on the model has become increasingly severe, and this problem has become more and more prominent. The traditional support vector machine (SVM) using the hinge loss function, which will amplify the effect of noise on the model. How to reduce the impact of noise on SVM is a hot issue. Therefore, this project intends to introduce different non-convex loss functions to deal with noise data, with particular emphasis on the use of non-convex optimization techniques to extract valuable information inherent in noise data. The specific research contents include: 1. For classification problems with noise data, introduce new non-smooth non-convex bounded loss functions, such as Ramp-loss type functions in support vector machine model so as to adapt to different noises; 2. For regression and semi-supervised problems with noise data, construct the smooth non-convex loss function support vector machine models; 3. For the feature selection problem of noise data study the sparse Lp-norm non-convex loss function support vector machines; 4. Study the fast algorithms for non-convex loss function support vector machine with noise data. At present, the study of the noise data is a hot and difficult issue. Therefore, the project is of innovative significance in both theory and practice.

如何克服噪声影响是数据挖掘中的经典问题。随着当前数据量越来越大，噪声的数量和种类也越来越多，噪声对模型的影响越来越甚，这一问题也越来越突出。传统的支持向量机使用铰链损失函数，会放大噪声的影响。在支持向量机的研究中，如何降低噪声的影响已经成为热点问题。因此，本项目拟引进不同的非凸损失函数处理噪声数据，其中特别注重利用非凸优化技术提取噪声数据中本质的有价值信息。具体研究内容包括：1、对于噪声数据的分类问题，引进新的非光滑有界非凸损失函数，从而提出适应于不同噪声的Ramp-类型损失函数支持向量机模型；2、对于噪声数据的回归问题和半监督问题，构造光滑非凸损失函数支持向量机模型；3、利用稀疏Lp-模非凸损失函数支持向量机研究噪声数据的特征选择问题；4、研究处理噪声数据非凸损失函数支持向量机模型的快速求解算法。目前对噪声数据的研究，不仅是热点，也是难点。因此，从理论和实践方面来说本项目都具有创新意义。

噪声数据的机器学习始终是机器学习的重点和难点。使用非凸损失函数抑制噪声的影响是最为有效的手段之一。然而非凸损失对应的非凸优化问题却很难有效求解。本项目对非凸损失对应的非凸支持向量机进行了优化理论和算法的研究。依托变分性质和统计学习理论，本项目研究了Ramp-损失、C-损失、ψ-损失、 Lp-模损失和0-1损失支持向量机在分类问题，特征选择问题，回归问题，聚类问题和半监督问题中的模型预算法，建立了0-1损失和Ramp损失等一系列非凸损失支持向量机优化原模型的最优性理论；设计了相应模型的ADMM算法，CCCP算法，DC分解算法，MM截断算法和光滑化一阶优化算法，并设计相应的工作集算法、使之具有快速有效性；针对0-1损失支持向量机、Ramp损失支持向量机、非凸损失非平行超平面支持向量机，对设计的算法在实际问题进行了数值实验，选取优秀的算法并开发了性能优异的求解器。.经过4年的研究，共发表了27篇与项目相关的研究学术论文。参加或参与组织国际国内学术会议14次，并做报告宣传项目研究成果。培养相关毕业研究生6名。其中，作为本项目的重要结果，L0/1损失、Ramp损失及截断的非凸损失支持向量机优化原模型的最优性理论的建立对支持向量机的推动具有重要意义。特别是L0/1损失支持向量机是最理想的软间隔支持向量机，在近几十年中，由于L0/1损失非凸非连续，人们研究的焦点是做非凸近似和凸近似的L0/1损失的研究，0-1损失支持向量机的最优性条件和直接求解基础始终未建立起来，而本项目对0-1损失以及相应截断损失的非凸支持向量机的原始问题的最优性理论的建立为求解这类问题提供了理论依据。.总之，本项目的完成不仅为非凸损失的支持向量机提供新模型和新算法，而且为学科交叉与融合提供了实践经验，对于人才培养以及支持向量机相关领域的深度合作与交流起到了积极推动作用。