基于贯序超限学习机的非平稳时间序列在线预测研究

Nonstationary time series prediction has become a research focus for its widespread application prospects. With online processing technology as the core and building an online prediction model with fast updating ability and adaptive traceability is the key issue to solve this problem. This project introduces the online sequential extreme learning machine algorithm as the basic theory model and tries to make a deep research on the online prediction problem of nonstationary time series, and the main research contents of which include: (1) We first propose a novel online sequential extreme learning machine algorithm based on generalized regularization and forgetting factor, and using which an online prediction model with persistent stability and dynamic tracking capability is developed, consequently, the online prediction problem of nonstationary time series can be preliminarily solved; (2) Under the condition of the generalized regularization, we carry on to explore a dynamic scheme for adjusting the forgetting factor adaptively in the learning process so as to further enhance the adaptivity of the prediction model to complex time-varying environment; (3) In order to improve the robustness of the prediction model to outliers, we adopt the robust regression theory as foundation and study the outliers online detection approach in a streaming and time-varying environment. This project is expected to produce a systematic and targeted online prediction model, method and technology oriented to nonstationary time series, which can provide theoretical and technical supports for effectively solving the online prediction problem of nonstationary time series.

非平稳时间序列预测是一个具有广泛应用价值的研究课题；以在线处理技术为核心、研究建立具有快速更新能力和自适应动态跟踪能力的在线预测模型是解决这一问题的关键。本课题引入在线贯序超限学习机这一新兴在线学习算法开展非平稳时间序列在线预测研究，主要内容包括：（1）设计一种基于广义正则化与遗忘因子的在线贯序超限学习机算法，构建相应的兼具持续稳定性和动态跟踪能力的在线预测模型，以初步解决非平稳时间序列在线预测问题；（2）在广义正则化条件下，继续探寻遗忘因子自适应迭代调整方法，以进一步增强预测模型对复杂时变环境的自适应性；（3）以鲁棒回归理论为基础，研究流式时变环境下的离群值在线检测方法，以提高预测模型对离群值的鲁棒性。本课题有望形成一套系统的、针对性强的面向非平稳时间序列数据的在线预测模型、方法和技术，为有效解决非平稳时间序列在线预测问题提供理论和技术支持。

非平稳时间序列在线预测是当前时间序列预测领域的热点问题，在金融服务、气象预报、交通疏导、工业控制、网络监控等领域具有广泛的应用价值。本项目采用在线贯序超限学习机（OSELM）作为基础理论模型开展非平稳时间序列在线预测研究，取得的研究成果如下：（1）提出了一种具有广义正则化与遗忘机制的OSELM算法，该算法以增量学习新样本的方式实现在线学习，以遗忘旧的失效样本的方式增强对非平稳时间序列的动态跟踪能力，并采用一种新的广义正则化方法来替代传统的指数遗忘正则化方法，使得算法的正则化功能不会受遗忘因子的影响而被逐渐削弱，从而保证算法具有恒定的正则化功能和持续的稳定性。（2）提出了针对不同时变类型的自适应OSELM算法：针对渐变型非平稳时间序列，设计了一种基于梯度下降的自适应遗忘因子方法，该方法在在线学习过程中能够根据环境的变化自动调整遗忘因子的大小，从而提高了对于复杂时变系统的自适应跟踪能力；针对突变型非平稳时间序列，设计了一种基于相对误差的可变遗忘因子方法，以提高对于突变系统的快速跟踪能力。（3）提出了面向时变离群值环境的鲁棒自适应OSELM算法：首先分别基于M-estimator技术和误差敏感学习的思想，设计了两种抗离群值的鲁棒OSELM模型；在此基础上，将M-estimator技术与前述自适应（可变）遗忘因子方法融合到OSELM模型中，提出了两种不同的鲁棒自适应OSELM算法，为解决时变离群值环境下的非平稳时间序列在线预测问题提供了统一的学习框架和完整的学习算法。（4）提出了一种面向大规模在线学习的二维分割正则化贯序超限学习机算法，该算法以OSELM模型为基础，结合分治策略的思想，从实例和特征两个维度对高维隐层输出矩阵进行分割，将一个高阶模型分解为若干个低阶模型并分别进行求解，以降低模型求解的规模和计算复杂性，从而极大地提高了对于大规模时间序列的学习效率。以上研究成果为解决目前常见的非平稳时间序列在线预测问题提供了实用有效的学习算法，也从理论模型上对在线贯序超限学习机理论体系进行了拓展和完善，具有较好的应用价值和理论意义。