具有时序迁移能力的Spiking-Transfer learning (脉冲-迁移学习)方法研究

Transfer learning on deep models has achieved a lot of success because it adopts the deep learning strategy and the knowledge reuse mechanism from the biological neural systems. However, the existing deep transfer learning models ignore the spiking emitting mechanism, which is an important information representation approach in the biological neural systems. This leads to the failure of these models on transferring useful knowledge in the high-dimensional sequential data. To solve this problem, in this study, we explore a new transfer learning mechanism based on the third generation of neural networks, the Spiking neural networks. By which the transfer learning method can imitate the sequential data representation mechanism in the biological system, which could improve the sequential knowledge transfer capability of the models. The study on the spiking-transfer learning method can be applied to the high-dimensional sequential applications, and help to understand the cognitive science and computational neuroscience in the machine learning in a high level.

深度学习的分区域工作机制、迁移学习的知识重用机制以及具有时序信息处理特性的Spiking脉冲发放机制是生物神经系统的三种重要的信息处理方式。目前对于深度时序模型的Transfer Learning方法的研究，大多借鉴生物神经系统的分区工作机制和知识重用机制，缺乏对神经元的时序信息表示方法的模拟，导致其很难有效的迁移复杂高维时序数据中蕴含的知识。本课题在深度时序Transfer Learning最新研究成果的基础上，利用具有时序表达能力的Spiking脉冲发放机制，探索既具有高维时空特征表示和知识迁移能力，又具有较强普适性的Spiking-Transfer Learning新模型和训练方法。这些理论与方法的研究可以大幅度降低深度时序模型训练所需的数据量且提升模型的时序处理能力，为机器学习在高维时序数据处理中的进一步应用奠定理论基础。

本课题在时序迁移学习最新研究成果的基础上，利用第三代神经网络-Spiking 神经网络在时序数据表示上的优势，研究具有时序迁移能力的Spiking-Transfer Learning （脉冲-迁移学习）方法。具体而言，是在深入分析时序处理方法、深度脉冲神经网络、知识迁移、认知科学等现有研究成果的基础上，综合考虑神经系统的脉冲信息表示方式、神经元的脉冲时间编码机制、生物认知的STDP学习规则，探索既具有高维时空特征表示和知识迁移能力，又具有较强普适性的Spiking-Transfer Learning新模型和训练方法，从而为迁移学习在高维时序大数据处理问题中的应用提供理论保障。本课题主要完成情况概述如下：（1）为解决传统时序回归任务中无法有效的进行知识迁移的问题，引入模型迁移门及迁移单元策略，提出基于回归模型的有效知识迁移方法。该方法可以有效提升在时序多源域数据情况下，迁移学习的时序预测准确性。（2）为解决深度Spiking神经网络模型在时序数据上的编码问题，提出了基于功能脉冲单元的端到端的功能脉冲神经网络模型。该模型提升了传统方法的时序预测效果及普适性；（3）为提高深度Spiking神经网络的学习效率，提出了两种基于膜电压驱动的Spiking神经网络学习算法。该算法用神经元的膜电压作为权重调整的参考信号，可以更加简单高效的对权重进行调整。该算法具有更高的学习效率和准确率;（4）为解决脉冲神经网络的知识迁移问题，研究了深度脉冲神经网络的各层的知识可迁移性，并提出基于领域不变性表示（domain in-variance representation）的深度脉冲网络迁移学习模型。该研究证明了迁移学习在脉冲神经网络应用的可行性以及与传统深度迁移学习的区别，并且验证了模型的迁移效果及普适性。（5）为解决模型分布式部署训练过程中的通信成本问题，提出了基于脉冲深度神经网络的联邦蒸馏学习框架，以脉冲网络的输出代替网络参数或梯度参与通信，在保证效果的同时极大降低了联合训练的通信量。总体而言，本课题按照计划顺利完成相关研究，对未来时序脉冲模型的进一步研究应用奠定理论基础。