基于高维随机投影的深度储备池计算模型研究

Reservoir computing (RC), as an efficient recurrent neural network (RNN), has been widely studied and used in modeling time series. However, since a number of temporal data contain hierarchical multiscale complex structures and dynamics, a single-layer RC model can have difficulty dealing with complex time series tasks. This project will propose a novel “broad & deep” learning paradigm which takes advantage of the merits of reservoir computing and deep learning. Specifically, the main objectives of this project are as follows: 1) To study a deep reservoir computing model of multiple projection-encoding to enhance effectiveness of RC in modeling complex time series; 2) To study a “broad encoding & deep decoding” network structure, in which deep learning methods are employed to decode complex temporal representations encoded by reservoir-layer. In this way, this “broad & deep” model will break the bottleneck of decoding features in RC and strengthen the complementary advantages of RC and deep learning. 3) To further study the theories of this “broad & deep” model, this project will explore the relationship between the “broad & deep” learning paradigm and the kernel learning, particularly the “recurrent kernel” and “multiple kernel learning”. Finally, the models will be evaluated on complex time series data. This project is not only a frontier exploration for the combination of RC and deep learning, but also expected to facilitate more applications of RC in time series.

储备池计算(Reservoir Computing)作为一种高效递归神经网络，在时间序列数据建模中得到了广泛的研究和应用。但是，许多时序数据具有复杂的多尺度结构和动态特性，仅凭单层储备池网络的学习不能满足处理复杂时序任务的要求。本项目拟探索基于高维随机投影的储备池网络与深度学习相结合的新型“宽+深”网络结构的学习范式：1）研究对输入数据进行多重投影与编码的深度储备池计算模型，增强模型对复杂时序数据建模能力；2）研究宽编码与深解码相结合的模型，利用深度学习方法来突破储备池计算输出解码能力弱的瓶颈，同时实现宽深网络模型之间的优势互补；3）进一步研究“宽+深”网络结构下的理论基础，探索“宽+深”范式与“核学习”理论特别是递归核学习、多核学习互相推进的可能性，最后在复杂时序数据建模中进行验证。本项目既是储备池计算与深度学习相结合研究的新探索，也有利于促进储备池计算在时序数据任务中的进一步推广应用。

本项目研究储备池计算(Reservoir Computing)在时间序列数据中的理论建模和实际应用算法，通过研究高维随机投影的储备池网络与深度学习结合的新型“宽+深”网络结构的学习范式，以学习不同下游任务中时间序列数据的复杂动态变化特性。在此基础上，通过挖掘分析包含数值缺失、数值异常和标签样本缺乏等现实复杂场景中的低质量时间序列数据，拟定进一步利用深度学习技术来学习低质量时间序列数据的鲁棒性特征表示，为探索大型时间序列预训练模型提供理论指导。通过本项目研究，我们提出了一种用于解决不完整时间序列建模的对抗联合学习深度网络模型，采用联合学习策略和编解码架构能够让填补和分类、聚类在训练的过程中同时进行，从而增强模型对复杂时间序列数据的建模能力。同时，进一步地提出了端到端的多尺度时间序列建模框架，基于“宽+深”网络结构下的理论基础，利用深度学习技术自适应地选择最重要的时间序列尺度，在人体骨骼节点等现实场景时间序列数据集上的建模效果取得了突破。此外，在储备池计算和深度学习方面发表相关论文35篇和申请发明专利15项，培养研究生11人，其中5人获得研究生国家奖学金。