非平行平面支持向量机及多核学习算法研究

This project mainly carries out some researches on the algorithm of nonparallel hyperplane support vector machine and multiple kernel learning, which is the extension and development of the traditional SVM algorithm in theory and method. It mainly includes the following four aspects:(1)Some novel nonparallel hyperplane support vector machine and multiple kernel learning algorithms will be proposed by making full use of the local geometry information, structure information and fuzzy information of the data. Based on the combination of nonparallel hyperplane support vector machine and multiple kernel learning, we will further research nonparallel hyperplane multiple kernel learning algorithm.(2)The effective kernel function and optimal parameter selection scheme of the model of nonparallel hyperplane support vector machine will be proposed by introducing the intelligent optimization algorithms and theory of bilevel programming into the process of the establishment of the model, and the update strategy of kernel weight in multiple kernel learning is also studied.(3)Some fast algorithms for solving large scale quadratic programming or linear system of equations will be built up, so that the model can deal with large dataset and high dimensional data problems.(4)Based on the above researches, we will further study on the problems of multi-class classification, semi-supervised classification and multi-label classification, so that the model may well applied to new application fields. The research of this project is not only of great significance to improve the level of pattern recognition and classification, but also some new ideas and methods proposed in this project will enrich the research content of pattern recognition and machine learning.

本项目主要研究非平行平面支持向量机及多核学习算法，它是传统支持向量机算法在理论和方法上的进一步延伸和发展。主要包括以下4个方面的研究内容：(1)充分利用数据的局部几何信息、结构信息和模糊信息等，提出新型非平行平面支持向量机算法和多核学习算法，并尝试将两者结合，研究非平行平面多核学习算法；(2)将智能优化算法和二层规划理论融入到模型构建中，给出非平行平面支持向量机算法中核函数及最优参数有效的选取方案，并研究多核学习中核函数权值更新策略；(3)针对大规模数据集和高维数据问题，构建优化问题的快速求解算法；(4)在上述研究的基础上，进一步研究多类分类、半监督分类和多标签分类等问题，并在国内外知名的图像分类数据库上进行实验研究，拓展模型的应用领域。本课题的研究不仅对提高模式识别和分类水平有重要意义，而且该课题研究中提出的一些新思想和新方法无疑将丰富模式识别与机器学习的研究内容。

支持向量机是模式识别和机器学习领域重要的研究内容之一，本项目聚焦于非平行平面支持向量机及多核学习算法相关问题，是传统支持向量机算法在理论和方法上的进一步延伸和发展。本项目主要开展了以下几个方面研究：(1) 针对分类问题，考虑同时寻找两个最优投影方向以及训练与测试过程的一致性，提出了一类新的投影孪生支持向量机算法；对于大规模数据集问题，为了克服投影孪生支持向量机训练速度慢和效率低下问题，提出了加权线性损失投影孪生支持向量机算法；为了充分利用数据结构信息，提出了局部保持投影最小二乘孪生支持向量机算法；为了充分利用数据模糊信息，分别提出了基于熵的模糊孪生支持向量机算法和基于熵的模糊最小二乘孪生支持向量机算法。(2) 针对回归问题，考虑到噪声数据对回归性能的影响，提出了一类新的非平行平面支持向量回归机算法。(3) 针对模型参数选择问题，将粒子群算法与投影孪生支持向量机算法相结合，提出了基于粒子群算法的投影孪生支持向量机算法。(4) 针对多核学习问题，构造新型组合核函数，提出了新型组合核孪生支持向量机算法。(5) 为了拓展算法的应用领域，针对字典学习问题，提出了基于支持向量的局部约束字典学习算法；针对人脸表情识别问题，分别提出了类人机器人实时表情再现方法和模仿方法；针对图像分割问题，提出了基于变指数p-拉普拉斯方程的图像分割的活动轮廓模型；针对深度学习问题，将监督学习损失和非监督损失融合到了统一的框架进行半监督学习，提出一种基于阶梯网络的深度表示学习方法；针对不确定系统控制问题，提出了几种自适应学习控制方法。总体而言，本课题研究中提出的新思想和方法丰富了模式识别与机器学习的研究内容，对提高模式识别水平有一定意义，基本完成了项目的预定目标。