稀疏支持向量机的理论、算法及应用研究

Support vector machines (SVMs) are powerful tools for machine learning, and have been applied to a wide variety of fields in data mining. Recently， sparse SVMs with different norm-regularizers open a novel approach in the development of SVMs because they made good performace in both classification and feature selection. This project will focuse on constructing the sparse SVMs with adaptive p-norm and group-norm regularizers according to the shortage in the current studies and propose the efficient algorithms for corresponding lage-scale problems in classification,multi-instance learing,multi-label learning and positive-unlabel learning. This porject will also develop the theory and methods in SVMs with adaptive p-norm and group-norm.We believe that this research can enrich the theory and methods in data mining, improve the optimization and support vector machines and benefit the problem of cancer related gene identification in bioinformatics.It has both scientific significance and practical value.

支持向量机方法是借助于最优化方法解决机器学习问题的有力工具，已经被成功地应用到数据挖掘的许多领域。近年来， 出现了若干基于不同范数的支持向量机，特别是能够同时实现分类与特征选择的带有不同范数正则项的稀疏支持向量机模型由于在解决高维小样本数据分类问题具有明显优势成为支持向量机方法中新的研究热点之一。针对当前稀疏支持向量机研究中存在不足，本课题开展带有可调节p-范数和组范数正则项支持向量机研究，在此基础上建立简单有效的算法使之适应分类、多示例学习、多标签学习及正类-无标签学习中的大规模问题的应用需要；开展p-范数和组范数稀疏支持向量机的理论与方法的研究。本课题的研究成果能够丰富数据挖掘理论和方法，推动最优化和支持向量机方法的发展，有利于解决生物信息学中的致病基因选择问题,具有重要的科学意义和实用价值。

维数约减问题是机器学习中的热点问题之一，我们主要以支持向量机为基本工具研究有监督及部分监督学习中的特征选择问题以及无监督学习的降维问题。对于有监督、半监督以及正类-无标签学习问题，我们提出了一系列能够同时实现分类与特征选择的带有可调节范数以及带有流形正则项的稀疏支持向量机模型。此外，项目组成员依据各模型自身的特点，分别设计了快速有效的求解算法，使运算时间大大缩短并使得我们提出的新算法能够应用于大规模问题。针对图像分类的数据特点，我们将支持向量分类机推广到了支持张量分类机。已发表论文9篇，其中SCI检索4篇，EI检索5篇。