基于类别噪声过滤学习的核分类器优化

The choice of kernel parameters is critical to the performance of the kernel classifiers. The existing kernel parameters selections are mainly dependent on regularization and cross validation, which are inefficient and not enough optimized. The methods based on the separability measure of the mapping space can improve the efficiency to a certain extent. But on the one hand, the time complexity of the algorithms is still in the quadratic form. On the other hand, the influence of the excessive noise mapping is not taken into account. This is an important reason for the restrictions of wide application of SVM, kernel logistic regression, kernel Fisher and other kernel classifiers in the large-scale data sets..The main reason that the existing class noise research cannot be used in the optimization of kernel parameters is that the class noise detection in the complex data environment is difficult, and the existing methods are difficult to achieve good results, which is needed to be solved urgently. To this end, this project combined with random forest, deep convolution neural network and transform learning and other methods to achieve the effective detection of class noise in complex data environment. On the basis of this, this project will solve the problem of efficient optimization of kernel parameters in two ways: on the one hand, we solve the problem of excessive mapping of kernel parameters by detecting and filtering the class noise in the data, and accelerate the methods based on validation training; On the other hand, we use the reference point instead of the center of gravity of the mapping space to reduce the algorithm time complexity. We further extend the proposed kernel parameters optimization methods into different kernel classifiers, significantly improving their application capacities in large-scale data sets.

核参数选择对核分类器的性能至关重要，现有的核参数选择主要依赖正则化和交叉验证，效率低，不够优化。基于映射空间可分性度量的方法可以提高效率，但是一方面算法时间复杂度基本在二次方；另一方面，没有考虑到类别噪声过度映射的影响。这制约了SVM、核逻辑回归、核Fisher等核分类器在大规模数据中的广泛应用。.现有的类别噪声研究无法用于核参数寻优的主要原因在于，复杂数据环境中的类别噪声检测比较困难，现有方法难以取得较好效果。为此，本项目结合随机森林、深度卷积神经网络和迁移学习等方法实现复杂数据环境下类别噪声的有效检测。在此基础上，通过两方面解决核参数的高效精确寻优问题：第一，通过检测和过滤类别噪声解决核参数的过度映射问题，并加速基于验证训练的寻优方法；第二，使用参考点代替映射空间的重心来降低算法时间复杂度。并将新的核参数优化方法结合到不同核分类器中，显著提高其在大规模数据中的应用能力。

为了克服现有的标签噪声检测方法难以有效用于复杂数据环境的缺点，基于多粒度认知计算，解决核参数无法高效精确寻优的问题，继而使得标签噪声过滤学习方法能有效地改善核分类器的学习性能，本项目的研究目标作如下规划：（1）研究出健壮高效的标签噪声检测方法；（2）研究出基于标签噪声过滤学习的核分类器高效优化方法。相应的主要研究内容有（1）适用于复杂数据环境下的标签噪声快速检测方法；（2）基于标签噪声过滤学习的核参数高效优化方法；（3）基于标签噪声过滤学习的核分类器优化研究。技术方案的选择上，我们提出了粒球计算方法，通过粒球计算来平滑过滤标签噪声。.基于以上研究目标和研究内容，申请人通过粒空间生成的方式，对该科学问题开展了持续研究，具体取得了如下关键创新和突破：.（1）提出了粒球计算方法，构造了基于非像素点输入的分类器数学模型，实现了高效鲁棒的分类学习过程；另外，我们基于粒球的几何结构，通过采样粒球附近的样本点，将粒球计算应用到采样算法中，解决了大规模的、非线性、不平衡分类问题下样本采样压缩问题。.（2）提出了基于粒球计算的精确聚类算法，实现了大规模k-means高效聚类；提出了基于粒球计算的粗糙集算法，实现了高效自适应的连续数据属性约简。该方法中，由于使用超球体来量化空间簇，获得了更加精确的近邻关系，单个样本点的计算次数远小于现有的同类顶尖算法；另外，该近邻关系不需要额外参数，消除了现有大多数优秀加速算法中单个样本上下界，因此算法具有良好的自适应性。.（3）提出了一种对类别噪声鲁棒的邻域粗糙集算法-GBNRS，实现了针对不平衡问题的高效鲁棒的过采样。相对于经典邻域粗糙集，基于粒球计算理论提出了粒球邻域粗糙集。GBNRS能够自动识别类别噪声，因此，相比传统方法，在很多数据集中能够获得更好的精度。.研究成果可以广泛应用于含有标签噪声的数据挖掘和模式识别等人工神经网络领域，提高学习的鲁棒性。.