基于构造型最优结构前馈神经网络的时间序列数据挖掘研究

This project focuses on finding the optimal neural network with optimal network structure to predict and mining massive time-series data (such as financial data) with highly nonlinear noise. In order to overcome the shortcomings of traditional trial and error search to determine the network structure, we first analyze the performance indexes which influence the generalization and stability of NNs, establish a multi-objective optimization model of for searching the optimal network structure, prove the theorem of existence and uniqueness, and then research to solve the model with NP approximate search algorithms, and take algorithm complexity analysis. After obtaining the optimal network structure, we will construct or train theoretically more concise feed-forward neural networks which more adapted to the noise data, and theoretically proved the feasibility of function approximation, prediction and mining to massive time-series data. In the same time, the study of the generalization performance as well as the time and space of the algorithm complexity will be done.At the same time, the actual stock market time series data will be taken as a sample and test data to verify the effectiveness and feasibility of the model and algorithm from. At last, the performance comparison with existing BP neural network, support vector machine, ELM, RBF neural network from theory and numerical experiments will be taken to prove they have better generalization performance, and the algorithm has a smaller time and space complexity, and in the same time we will research the corresponding parallel fast algorithm which will be extended to general time series prediction and mining.

本项目着眼于寻找最佳结构神经网络对高度非线性带噪声海量时间序列数据进行预测与数据挖掘。为了克服传统的反复试错摸索确定网络结构的缺点，首先分析影响神经网络泛化性能与稳定性的性能指标，然后建立搜索最优结构神经网络的多目标最优化模型。证明最优解的存在唯一性定理，研究求解模型的NP近似搜索算法，并对算法进行复杂度分析。在得到最佳网络结构之后，从理论上构造或训练出形式更简洁，更适应噪声数据的前馈神经网络，并从理论上证明其逼近函数与时间序列数据并进行预测和挖掘的可行性。研究其泛化性能以及算法的时间和空间复杂度。同时，以实际的股市时间序列数据作为样本与测试数据，来验证模型与算法的有效性与可行性，并从理论和数值实验等方面与现有的BP神经网络、支持向量机、ELM、RBF等神经网络进行比较，证明其具有更好的泛化性能、其算法具有更小的时间和空间复杂度。研究其并行实现快速算法。并推广到一般的时间序列预测与挖掘中。

本项目着眼于寻找最佳结构神经网络对高度非线性带噪声海量时间序列数据进行预测与数据挖掘, 自项目从2014.1.1开始以来，项目进展顺利，并在如下多个方面取得了创新性的成果：1、在对高度非线性带噪声时间序列数据进行预测与数据挖掘方面取得了很好的结果，特别是在对时间序列数据中的冲击数据的处理和逼近以及预测方面得到了具有创新性的结论，相关论文发表在2区以上SCI杂志上多篇。2、在寻找最优结构神经网络方面，通过建立多目标优化模型，设计相应的近似搜索算法得到了神经网络隐层神经元的最佳个数，并发表相应的SCI论文。3、利用最佳结构神经网络求解非线性常微分方程、偏微分方程、积分-微分方程方面也取得了创新性的成果。特别是针对最佳结构神经网络，设计了改进型的ELM算法，并开发出了相应的程序和软件，能够快速和准确地求解具有实际应用背景的方程，如多导线的传输线方程；理赔服从不同分布的更新风险模型的破产概率积分-微分方程等。4、对于最佳结构神经网络的稳定性分析方面取得了许多研究成果，证明了很多理论结论和定理，发表多篇高质量的SCI论文。5、和湖南省超级计算科学学会进行了多学科交叉研究，并取得了许多有意义的成果，这些成果在学会举办的学术年会上得到了充分的展示和体验，得到了多方专家的好评。同时项目组成员参加了多次国际学术会议，报告了多项学术成果，并发表了相应的高质量会议论文。总之，项目超额完成了预定的目标。取得了许多学术成果。项目组成员共发表SCI论文16篇，ISTP会议论文5篇，CSCD中文论文3篇，主办国际学术会议一次，参加国际学术会议8次。培养博士生4人，硕士生8人，会议优秀论文一等奖论文2篇，二等奖论文3篇。项目进行过程中也遇到了还没有解决的困难和问题：如对于最佳结构神经网络中的隐层神经元的个数与激活函数的关系等问题至今没有得到很好的结论。项目结题后项目组成员将继续相应的研究。