面向大量数据的半监督支持向量机的优化方法研究

Semi-supervised support vector machine is one of most popular technology in machine learning. Based on different selection of regularized functions and loss functions, the problem can be modeled as a smooth nonconvex programming or a nonsmooth programming. Large-scale learning is a hot topic in the fields of machine learning. The project will present efficient algorithms for several optimization problems which arise in large scale semi-supervised support vector machines with different regularization function and loss function. .Efficient numerical algorithms for smooth nonconvex programming will considered first, which arise from the model established by semi-supervised support vector machine based on L2 regularized function and hinge loss function. Based on existing strategies including online algorithm, stochastic algorithm and mini-batch dynamic sample selection in supervised learning, some new efficient algorithms will be given for solving smooth nonconvex semi-supervised support vector machines such as online gradient method, weighted accelerated stochastic gradient method and mini-batch dynamic sample size selection gradient method. For nonsmooth semi-supervised support vector machines, based on existing smooth approximation technique, methods for smooth nonconvex semi-supervised support vector machines will be extended. It is expected that our work will make contributions to optimization methods for machine learning and will be helpful for related applications.

半监督支持向量机是机器学习领域的热点技术。根据正则化函数和损失函数的不同取法，该问题的数学本质为特殊的光滑非凸或非光滑优化模型。面向大规模数据（样本点个数几十万乃至上千万个，样本维数上万维）的学习问题是目前机器学习领域的热点和难点。本课题拟在大型监督学习的在线策略、随机取样策略、分批动态取样策略的基础上，给出面向大量数据（即：样本数量多）的半监督支持向量机模型的有效算法，具体内容包括：对基于L2 正则化函数和光滑凸损失函数得到的光滑非凸规划模型，分别给出新的变步长在线梯度算法及收敛性、新的加权加速随机梯度算法、新的分批动态取样梯度型算法；对基于L1 正则化函数和非光滑损失函数得到的非光滑规划模型，基于光滑逼近技巧，结合随机取样策略以及分批动态取样策略，分别给出新算法，建立收敛性分析。我们期望本项目的研究有助于相关应用问题的求解，并进一步推动优化方法在机器学习前沿研究领域的应用。

半监督支持向量机是机器学习中的重要技术，根据正则函数和损失函数的不同，该问题本质上是光滑非凸优化模型或者非光滑优化模型。考虑到实际问题中出现的大量样本数据， 本课题考虑该模型的专门算法。我们在大型监督学习的在线策略、随机取样策略、分批动态取样策略的基础上，对带有大量数据的半监督支持向量机的各种模型给出有效算法。我们基于随机取样策略和分批动态取样策略，对基于L2正则化函数的光滑非凸模型、基于L1正则化函数的非光滑模型，分别给出新算法并建立收敛性分析。此外，我们考虑了相关算法在机器学习中的鲁棒稀疏重构、鲁棒变量选择以及图像处理和人脸识别中的部分应用。 截至项目结题，发表项目相关论文4篇，投稿待接收1篇，待投论文2篇。本课题的研究有助于相关应用问题的求解，推动了优化方法在机器学习前沿研究领域的应用，并为后续更深入的抗噪对抗性学习的研究做准备。