复杂多流形半监督问题的非平行支持向量机方法研究

The problem of complex multi-manifolds semi-supervised problem is a challenging learning task, particularly when the underlying manifolds are intersecting or overlapping. Many available semi-supervised methods and theories may fail to deal with such learning case. The recently proposed semi-supervised nonparallel support vector machine (short of Semi-NSVM) is an effective tool for semi-supervised classification problem, which is excellent at dealing with “linear xor” and “heteroscedastic noise” problems. However, Semi-NSVM has also suffered that similar challenge. Thus, based on our preliminary works, we will deep in the characteristic of the complex multi-manifolds learning problem, and aim to raise a novel Semi-NSVM method, including the following aspects: (1) Firstly, we will define the “manifold curvature” of local points, and then propose a strategy for the underlying multi-manifolds estimating and expressing. (2) By introducing a new manifold discriminant regulation term, we will establish a novel “manifold granularity” based Semi-NSVM learning framework. (3) A series of fast solving algorithms will be further designed for the above models. Finally, we will concern on the application of Semi-NSVM for the defect detection system of “Inkjet printing fabric”. The goal of our project is provide the theory, methods and technical support for semi-supervised nonparallel support vector machine.

复杂多流形半监督问题是一项具有挑战性的学习任务，特别是潜在流形分布存在“交叉”或“重叠”区域。面对此类学习问题，很多半监督学习方法和理论将会失效。半监督非平行支持向量机(简称半监督NSVM)是一种近年来新提出的优秀半监督学习方法，它在处理 “线性交叉型”和“异方差噪声型”数据问题上突显出良好的泛化能力。然而，半监督NSVM在处理复杂多流形问题时，同样存在较大的困难。因此，本课题拟在若干前期工作基础上，将对上述问题展开深入研究，旨在提出一个适应复杂多流形学习的半监督NSVM方法。主要包括：1、从样本的“流形曲率”定义出发，研究潜在多流形信息估计和表达；2、给出带流形区分信息的正则项构造方法，构建基于“流形”粒度的半监督NSVM学习框架；3、提出半监督NSVM模型快速求解算法，以研究它在“喷墨印花织物”缺陷检测实际问题中的应用。本课题将为半监督NSVM的研究提供理论、方法和技术支持。

本基金着重研究在复杂数据分布下的非平行支持向量机(NSVM)模型的学习问题，即数据集存在噪声和异常值、标签数据不完备、标签存在多义性、类别不均衡等问题。课题组从复杂数据分布信息的提取、鲁棒学习模型的构建、模型快速训练算法的设计等方面展开科学研究，围绕着原研究计划，旨在提出适用于复杂数据分布的NSVM最优化理论与方法。主要包括：.（1）复杂数据分布信息的提取: 针对噪声流形学习问题，提出鲁棒矩阵局部保留投影模型；针对标签多义性问题，提出最大间隔弱监督学习模型；针对高维不均衡问题，提出基于对抗思想的校正编码网络学习框架。.（2）鲁棒学习模型的构建: 从理论层面上研究NSVM和SVM之间的联系，重新构造NSVM的损失函数，新NSVM模型拥有SVM相似的稀疏性和核扩展性；为投影NSVM模型引入具有理论意义的v参数，用于控制支持向量上界和误差样本下界；为捕获样本潜在分布的相关性，引入自适应迹模正则项，并提出基于迹模的鲁棒NSVM模型；为降低噪声高维数据对学习器的影响，提出基于广义Lp模的稀疏鲁棒主成分分析模型。.（3）模型快速训练算法的设计: 为高效求解L1模优化模型，提出迭代贪婪算法，理论上保障了算法的收敛性；针对大规模学习问题，设计对偶坐标下降法(DCD)、平均随机梯度下降法(ASGD)、交替乘子法(ADMM)等高效的算法来求解优化模型。. 受本基金资助下，项目负责人以第一作者或共同作者，共发表10篇学术论文，其中7篇SCI收录(包括1篇中科院1区SCI，6篇中科院2区SCI，平均影响因子>4)，2篇一级学报期刊，1篇CCF-C类EI会议；1项授权发明专利。