脉冲神经网络敏感性及其应用研究

The research object of this project is the third generation model of artificial neural networks, namely, the Spiking Neural Networks(SNNs). The input and output of SNNs are spike trains with time character.The running mechanism of SNNs is more similar to the operating mode of the biological nervous system and more complex than other traditional artificial neural networks.This project will firstly study the sensitivity of SNNs. We will analyze the possible influence to network's output caused by different input perturbations and propose the corresponding quantified algorithm. Secondly, we will study the inner relationship between SNNs’ adaptive parameters and their behaviors based on the previous work. Finally, we will use the quantified sensitivity as tool to optimize the network structure and improve the learning mechanism of SNNs..The significance of this research is that it could futher promote development of the research on artifical neural networks, make artifical neural networks possess more human intelligence, and contribute more in scientific progress and social development.

本项目的研究对象是第三代人工神经网络：脉冲神经网络（Spiking neural network）的敏感性及其应用。脉冲神经网络的输入输出为具有时间特性的脉冲序列，其运行机制相比其他人工神经网络更加接近于生物神经网络，也更为复杂。本项目将首先从spiking神经网络的敏感性研究入手，分析各种不同的输入参数扰动对于网络输出的可能影响，并给出相应的量化算法。然后以此为基础，深入研究网络可调参数与其行为表现之间的内在联系。最后，利用所得到的量化敏感性为衡量工具指导spiking网络的结构优化，并对spiking神经网络的脉冲序列学习算法加以改进。.本项目的研究意义就在于它将在很大程度上促进人工神经网络的发展，使得人工神经网络拥有更进一步的智能，为科学进步和社会发展发挥更大的作用。

本项目主要研究脉冲神经元的敏感性及其有监督学习机制。.研究的第一部分内容主要是脉冲神经元的敏感性分析。首先给出了量化脉冲神经元的敏感性公式，并分析得出当全体输入脉冲均提前或延迟相同时间时，神经元的所有输出脉冲也将提前或延迟相同时间，而当神经元单个突触的输入脉冲发生扰动时，输出扰动受扰动突触权值的符号、扰动前的激发状态以及最近一次激发的时间间隔所影响。这些结论从一个侧面揭示了输入、输出脉冲之间的内在联系，对脉冲序列学习理论的发展有着重要意义。.研究的第二部分内容主要对已有的脉冲神经元有监督算法进行总结、对比、改进和应用。针对已有的基于梯度下降的离线神经元脉冲序列学习算法，提出了收敛速度更快的基于梯度下降的在线神经元脉冲序列学习算法。通过分析影响ReSuMe学习效果的两个主要因素提出了两种改进的ReSuMe学习算法，实验显示改进算法能大大提高神经元的序列学习能力。根据脉冲神经网络的时间特性与人体动作识别中的动作时序性，首次利用单隐层的脉冲神经网络来完成实时人体动作识别任务。.研究的第三部分内容主要是进一步对基于梯度下降的多脉冲神经元学习算法进行深入研究。提出了一种能够克服基于梯度下降学习算法有可能提前停止学习的方法，该方法利用虚拟脉冲来构建误差函数。实验结果显示当学习提前停止于不相等的序列个数时，研究提出的算法能够纠正这一错误使得学习收敛于精确的目标脉冲序列。研究还提出了一种带延迟调整的脉冲神经元学习算法，该算法中在学习过程中同时对权值和延迟进行调整。实验结果显示该算法能够大大提高神经元的收敛速度，同时由于输入延迟可以改变神经元的输入分布空间，该算法还能够解决一些原来无法成功学习的学习任务。.虽然在研究过程中遇到了一些困难，未能在脉冲神经网络学习机制中取得较大突破，但本项目在脉冲神经元的学习机制研究中取得一些实质性成果，研究成果共发表论文7篇，达到了申请书中预期的研究成果数量。