有效融合多源异构数据的集成分类器研究

With the expansion of the application of classification analysis, the classification of multi-source heterogeneous data has recently received a significant amount of attention in the fields of data mining and machine learning. However, due to the lack of prior knowledge, it is still challenging to effectively integrate the complementarity and correlation among multi-view features to classification analysis. Motivated by this scientific problem, there are three main themes within the proposed research based on ensemble learning theory: (1) Bulid the support vector-tensor machine ensemble models for supervised classification problems via joint feature selection and classifier design; (2) Bulid the semi-supervised support vector-tensor machine ensemble models for semi-supervised classification problems via joint feature selection and classifier design; (3) Design the nonlinear multi-kernel based on vector-tensor compound pattern and joint feature selection and (semi-supervised) support vector machine for nonlinear classification problems. What is of significance in this proposal will be not only building some support vector-tensor machine models and designing more algorithms for various applications, but also making the research contents of data mining and machine learning richer and promoting research and development of machine learning and mathematical theory. Expected outcomes of the proposed research will provide solutions for the critical problems of the classification of multi-source heterogeneous data, and lead to novel techniques and fundamental theoretical basis for their applications in various fields, as well as provide a new theoretical perspective for ensemble learning based algorithms.

多源异构数据分类技术是近年来数据挖掘和机器学习领域的研究重点和热点，在网页分类、文本分类、脱机手写体字符识别、基于内容的图像和视频检索、生物信息处理等领域有着广泛的应用。然而由于先验知识的缺乏，如何构建有效融合多源数据中互补信息和相关信息的泛化模型是当前尚未解决的重要科学问题。鉴于此，本项目拟在集成学习的理论框架下展开以下三个方面研究：.针对有监督分类问题，建立特征选择与分类器优化耦合的支持向量-张量机集成模型；.针对半监督分类问题，建立特征选择与分类器优化耦合的半监督支持向量-张量机集成模型；.针对非线性分类问题，设计基于向量-张量复合模式的非线性多核函数，并构造特征选择与分类器优化耦合的学习算法。.项目旨在揭示模式表达影响数据分类的本质规律，提出针对多源异构数据分类关键难题的解决方案，为该方法在相关领域的应用奠定理论基础和技术基础，为研究以集成学习为代表的的机器学习算法开拓新的理论视角。

多源异构是大数据的基本特征之一，即现实中的数据通常以多种呈现形式描述同一主题。因此，对多源异构数据融合和分类器的研究具有十分重要的意义。目前这类问题的智能分析技术尚不完善，尤其在(1)如何有效融合多源数据以获得更好的挖掘、识别效果; (2)如何改进现有分类学习方法、优化时间和空间复杂度，这两方面还存在重要的技术瓶颈。若能突破多源数据融合和分类学习的相关基础科学难点，有望提升智能系统的识别精度和速度，对于涉及该项技术的各类需求，具有重要的现实意义。课题组在本基金项目支持下，按计划稳步进行了相关研究，重点研究和探索突破以下关键科学难点(1)研究了基于张量模式的多源数据表达和分类学习，突破数据融合和模型构建的难点; (2)研究了大规模多源数据情景下张量机学习算法的快速优化问题，解决了张量分类器训练时间过长的问题。取得了以下重要研究进展: 提出了一种基于张量的多源数据和分类信息统一融合的方法(MMC, MFM, SFM)，采用张量积(外积)实现了多源数据的统一张量表达，在此基础上提出了一个系统的张量分类方法，突破了多源数据融合分类的难点; 提出了一种特征选择与分类器融合的核化支持张量机(KSTM)分类算法，给出了一种张量空间下种族分类的新视角; 提出了一种保持时空信息的张量核，得到一种时空张量分类算法(STTK)，给出了多源异构时空数据张量表达和学习的一种新思路; 提出了SURF算法，该方法为自适应Lasso张量稀疏模型，将线性空间的Lasso稀疏模型推广到了多线性空间，具有坚实的理论支撑和可解释性，并提出了分而治之的增量优化学习算法，克服了张量非凸优化学习速度慢的瓶颈; 提出了一种基于深度学习解决多源数据大规模分类问题的方法，该方法对图像和图数据都具有很好的鲁棒性; 同时项目组还探索了所提出的模型及算法在各类现实任务上的应用。在成果指标方面，发表SCI期刊论文4篇，均为SCI二区期刊论文; 发表国际会议论文32篇，其中CCF A类会议论文7篇。