基于多输出支持向量回归的预测技术研究

Due to the inherent modeling structure with only single output, the standard Support Vector Regression cannot deal with multi-output modeling tasks (such as multi-step-ahead prediction and interval-valued prediction) to depict the dependency or sequential (ordinary) dynamics among output variables. In this study, multi-output Support Vector Regression (M-SVR) is proposed as the basic component to establish a novel prediction modeling framework by taking the full advantage of its capability of modeling the dependency and sequential dynamics among outputs. The main works of this proposed project include: 1) the integration of a multivariate empirical mode decomposition technique into the data preprocessing stage of M-SVR to maintain the dependency among input variables; 2) the design of a prediction accuracy matrix adapting to the multivariate case, and the extension of learning functions from single-objective to multi-objective during the modelling process; 3)the development of novel adaptive learning schema capable of capturing the characteristics of data instances;4) the development of Memetic algorithms for parameter tuning of M-SVR, and then for the modeling selection while considering the input variables selection as well. For the purpose of justification and validation, experimental studies will focus on two challenging prediction issues – multi-step-ahead prediction and interval-valued prediction – within the context of business and finance. Generally speaking, this project has promising contributions to theoretical development as well as carries practical implications.

针对标准支持向量回归单变量输出结构的局限，即不能有效地处理复杂多输出变量间存在依赖关系和序贯性（排序性）特征的预测建模任务（例如多步预测和区间型预测），本项目结合多输出支持向量回归学习机（M-SVR）同时处理多个输入-输出变量的特点，以刻画复杂多输出变量间依赖关系与序贯性特征为研究切入点，从构建新颖M-SVR预测建模框架和结合典型商业与金融预测问题设计应用技术方案两个方面进行创新性研究,包括：通过引入多变量经验模式分解技术到数据预处理阶段，保持输入数据集多序列内在依赖关系；设计多变量预测误差的指标并拓展单一M-SVR学习目标函数为多目标优化问题；设计基于数据实例特征的主动学习机制；设计基于MA算法的M-SVR参数寻优策略，并拓展到包括输入变量选择的模型选择问题；结合商业与金融问题背景，对多步预测、区间型等多输出变量预测建模问题开展应用研究。因此本项目具有创新性基础研究的理论意义与应用前景。

本研究针对标准支持向量回归单变量输出结构所导致的不能有效地处理复杂多输出变量间存在依赖关系和序贯性（排序性）特征预测建模任务的局限（例如多步预测和区间预测等问题），以刻画复杂多输出变量间依赖关系与序贯性规律为研究切入点，构建新颖的多输出支持向量回归（M-SVR）预测建模框架，重点关注多输出预测建模中数据预处理与分析、建模过程优化等技术细节，同时对多步预测、区间型等多输出变量预测建模问题开展应用研究，并完成相应预测系统的原型开发。项目在多输出支持向量回归预测过程的各个阶段，即数据预处理、核函数选择、训练算法设计、超参数寻优、预测效果评价方法设计等，特别地，针对参数寻优的目标函数选择进行了创新性工作。通过聚焦季节性数据的数据预处理、训练算法设计和以及与既有研究中的常见模型与方法进行比较分析，提出了新颖的季节性数据预测建模框架，并应用到季节性区间预测问题。项目围绕大宗农产品价格预测问题、金融市场股指预测问题和电力负荷预测问题进行了应用研究。另外，针对恶意网站识别问题，也进行了拓展性应用研究。项目的研究成果既具有方法论层面的创新性基础研究的理论意义，也具有广泛的行业应用前景。