高维数据分析中的支持向量机核学习及其应用研究

Machine learning of the high-dimensional datas is an important aspect of data mining.Support vector machines ,which is one of the Machine Learnings ,have the significant advantages in the classification and feature extractions of the datasets.Study the kernel fuctions and the decomposition of sparse kernel matrix become the difficult points about the analysis in high-dimensional datas.Suitable models and efficient algorithm are the precondition of its wide application.Combined with the new progress at home and abroad in this field ,this project will reduce the time and space complexity under the help of the multiple kernel learning and the decomposition method of matrix,and use the attribute information which be relative to the classifier to extract the importan features.We will propose the speed algorithms which will be suitable to the high-dimensional data and the extracting feature ,and also solve some of the theoretical questions when we use the decomposition of the sparse kernel matrix.First ,we preprocess the datasets and gain the sparse matrix, then supported by the primal-dual optimization theory,kernel learning theory, the decompositional method of the sparse kernel matrix and the intelligent selection of the parameter,we study the matching attribute , the disadvantages and advantages about the models.Our study will push the application of machine learning in high-dimensional data analysis.

高维数据的机器学习是数据挖掘的一个重要方面。其中之一的支持向量机在处理高维数据的分类和特征提取方面具有显著优势。对模型中的核函数、核矩阵的分解方法进行研究是解决此类问题的难点。合适的模型和高效的算法是其广泛应用的前提。本项目结合该领域国内外的新进展，利用多核学习、稀疏核矩阵的多种分解法降低模型的时间和空间复杂度；利用属性相对于分类器的信息能度量来进行特征提取，并给出适合高维数据分类、特征提取的快速算法，并解决利用稀疏核矩阵分解过程中所涉及的理论问题。项目先对数据预处理，得到稀疏矩阵，然后利用对偶优化理论、核学习理论、稀疏核矩阵的分解方法、参数的智能选择等技术对模型进行研究。考虑组合核函数、稀疏核矩阵的多种分解技术对模型在数据分类、特征提取、复杂度等方面的优缺点及其匹配性.研究结果将会推动机器学习在高维数据分析中的应用。

随着信息技术的发展，处理数据的复杂度和成本随维数成指数级增长，所需的空间样本数会随维数的增加而呈指数增长，这样会导致基于索引结构的高维数据挖掘算法的性能下降。寻找适于高维数据分析的机器学习模型和各种优化模型，对模型中“高维性”进行研究对高维数据的学习具有重要的意义，.研究内容：1 提出一种基于混沌粒子群算法的改进型双正则支持向量机方法。结果对一些高维数据的特征选择具有较好的分类效果。实验表明对数据的不平衡比比较小的WDBC数据的分类准确率达到95.25%。WBCD数据分类准确率达到97.81%。意义：对不平衡比数据的分类具有借鉴意义。2提出一种粗糙的ν-Twin支持向量回归机结果：该方法可以实现结构风险最小化，并根据数据集的结构自动控制准确性，改善了ν-TWSVR的泛化性能，特别是对于具有异常值的数据集的实验效果好。其中V-TWSVR 的实验效果达到99.41%的准确率。意义：对利用粗糙集合TSVR相结合的回归问题具有比较好的指导意义。3 提出基于粗糙集和模糊集理论的自适应孪生支持向量回归机。结果：ATWSVR对于具有异常值的数据集更为健壮。意义：对粗糙集在孪生支持向量的应用具有指导意义。4 提出差分增强人工蜂群算法。结果：算法利用先前搜索经验的更多先验信息来加快收敛速度。 ，为了提高全局收敛性，具有比其他算法更好的性能。意义:将差分进化算法和人工蜂群算法相结合对优化问题的目标全局收敛性具有较强的指导意义。5提出一种新颖的基于认知的变换算法高斯云模型及其应用研究，结果：对图像分割中不确定概念进行了研究，对高斯云模型的的有效性和收敛性进行了改进。意义：对利用高斯云模型对图像进行分割算法分析具有较强的指导意义。6 合作出版《概率论与数理统计》教材，结果：对民族地区高等院校的学生比较适用。意义：更加有利于我们民族地区学生对概率论知识的掌握