具有时序处理能力的Spiking-Deep Learning（脉冲深度学习）方法研究

Deep Learning models are widely studied in machine learning and have achieved a lot of success. However, these models have few advantages to solve the real-world time-series-dependent problems since they still employee the information representation mechanism in traditional neural networks. Researches on hippocampus electrophysiology experiments reveal that biological neurons transmit information by the spike emitting mechanism, which motivates the temporal coding approach to learning rather than the pure deep architecture. Recently, models and learning methods developed for deep learning still ignore the spike emitting mechanism and are not adept in solving the real-world time-series-dependent problems. This project attempts to make up this defect of deep learning models basing on some recent achievements on neuroscience and spiking neural networks. More specifically, we analyze the latest deep learning models and the temporal-coding mechanism of spiking neural networks to study biologically plausible deep learning models. With experimentally supported learning rules and spike emitting mechanism of spiking neural networks, we explore a new deep learning model with efficient training algorithms, which can solve time-series-dependent problems in a biological way, and represent both the spatial and temporal features of time-series data. This research can be applied to more complex engineering problems and contribute to understanding the learning process of cognitive science, computational neuroscience and machine learning in a high degree.

具有用深度构建的分区域工作机制和具有时间特性的Spiking发放机制是生物大脑系统中常见的信息表示和处理方式。目前对Deep Learning的研究，多数是借鉴于生物视觉认知系统的分区机制，而缺少对神经元信息表示方法的模仿，不能充分的表示时间特征，从而导致很难用以解决具有高度时序特性的数据问题。本课题在分析神经科学、机器学习最新研究成果的基础上，研究具有高度时序表征能力的Deep Learning模型。具体而言，是在现有Deep Learning分层模型的基础上，综合考虑神经系统的Spiking信息表示方式、神经元的Spiking时间编码机制、生物认知的STDP学习规则，研究探索既能高度模仿大脑深度层次结构、又具有良好的时间特征表示能力的时空结合的Deep Learning新模型和算法。从而为Deep Learning在高维时序大数据处理问题中的应用提供理论保障。

本课题在神经科学、认知科学最新研究成果基础上，利用机器学习理论方法，研究具有高度时序表征能力的深度学习计算模型。具体而言，是在现有深度学习分层模型的基础上，综合考虑神经系统的脉冲信息表示方式、神经元的脉冲时间编码机制、生物认知的STDP学习规则，研究探索既能高度模仿大脑深度层次结构、又具有良好的时间特征表示能力的时空结合的深度学习新模型和算法，从而为深度学习在高维时序大数据处理问题中的应用提供理论保障。本课题研究具有时序处理能力的Spiking-Deep Learning模型，主要的完成情况概述如下：(1) 通过分析现有脉冲驱动学习算法的局限性，提出了l两种基于膜电压驱动的Spiking神经网络学习算法。该算法用神经元的膜电压作为权重调整的参考信号，可以更加简单高效的对权重进行调整。实验结果表明我们提出的学习算法具有更高的学习效率和准确率; (2) 改进传统基于神经元的聚合-标签学习算法(Aggregate-Label Learning), 并提出适用于Spiking深度网络模型的聚合标签学习算法，该算法可以显著提高聚合-标签学习算法的实际应用能力；(3)为了提高Spiking神经网络学习算法的鲁棒性，引入了动态阈值的权重调整策略。该策略具有良好的普适性，可以被现有的多种监督学习算法采用来提高了其训练模型的鲁棒性；(4) 借鉴生物听觉系统编码机制，提出基于阈值驱动的高效语音信号编码方法，同时依据Spiking神经元膜电压的动态特性，提出了实时动态的解码策略，实现了一种基于Spiking的类脑语音信号处理模型；(5) 借鉴人脑多模态信息处理机制，提出了适用于多模态信息处理的Spiking深度网络模型，该模型可以高效的处理视觉和听觉信息等多模态信息。