多尺度模块网络下的储备池神经计算模型及算法研究

In recent years, the ‘Reservoir Computing’, represented by echo state networks (ESN), has attracted increasing attention and been successfully applied in many fields such as time series prediction, speech recognition ect. However, the research on constructing the reservoir of ESN with deterministic methods still remains at the initial stage. More innovations are needed in the research of the ESN theory. This project studies the mechanism of ESN and constructing reservoir algorithms, trying to establish the relationship between ESN short-term memory capability and the topology of reservoir by the series expansion of ESN's mathematical model, and analyze the two-way controllability of short-term memory of ESN under multi-scale modular networks based on conductance. Furthermore, with the memory capability, we try to transform ESN into a ‘memory unit & feedforward neural networks’ structure. On this basis, this project aims to study the performance of ESN under the guidance of statistical learning theory. It provides the theoretical guidance for the application of reservoir computing in nonlinear time series prediction. The research results will be of great help in enriching the theory of reservoir computing.

近年来以回声状态神经网络(ESN)为代表的“储备池计算(Reservoir Computing)”已成为一个研究热点，并成功应用于时间序列预测、语音识别等领域。但采用确定性方法来构建ESN 储备池的研究基本上还处于初期的探索阶段，特别是在ESN 内部机理的理论研究上，还需要更具创新性的研究。本项目研究储备池计算的内部机理及构建算法，通过对ESN 的数学模型进行级数展开的变换，来建立储蓄池网络拓扑变化与记忆能力大小的定量关系，并利用导率(Conductance)模型在多尺度模块网络下研究储备池记忆能力的双向可控性。在此基础上，以记忆能力为桥梁，拟进一步将ESN这种递归型网络转化为“记忆单元+前馈网络”的结构，探索借助统计学习理论对储备池计算模型的计算能力或性能的分析方法，为ESN在非线性时间序列预测中提供理论指导，其研究将有助于丰富储备池计算的基础理论。

本项目研究储备池计算的内部机理及构建算法，通过对ESN 的数学模型进行级数展开的变换，来建立储蓄池网络拓扑变化与记忆能力大小的定量关系。在此基础上，以记忆能力为桥梁，拟进一步将ESN这种递归型网络转化为“记忆单元+前馈网络”的结构，探索借助统计学习理论对储备池计算模型的计算能力或性能的分析方法，为ESN在非线性时间序列预测中提供理论指导。通过本项目研究，我们提出了泛函回声状态网络用于时序数据分类问题，首次尝试了将网络中的权重看作函数来学习的思路，在时间序列分类问题上取得了更好的效果。同时进一步提出了基于“宽编码+深解码”架构的卷积回声状态网络，将人体骨骼节点动作看作多变量时间序列数据，利用深度学习方法来解码储备池生成的丰富的高维动态特征，取得了在人体骨骼节点动作识别效果上的突破。此外，在多尺度ESN以及时序数据处理方面发表相关论文6篇和申请发明专利4项，培养研究生6人，其中一人获得广东省优秀研究生。