前馈神经网络学习算法的设计与分析

人工神经网络已经成功应用于众多领域，但是其学习算法速度慢、精度低的缺点是制约其进一步发展的一个瓶颈。本项目继续前三个国家自然科学基金的工作，致力于快速有效的神经网络学习算法的构造与分析，包括以下重点内容：继续研究神经网络在线梯度法这种最简单的随机型学习方法在某些情况下的确定型收敛性；推广细化我们已得到的模糊神经元阈值在某些情况下可以去掉这一有趣结果，并开始研究一般情况下阈值不能去掉时的最优初值选择问题，以小代价加快模糊神经网络学习速度；将信息处理理论中新兴的L-1/2正则化方法与近来流行的极端学习机神经网络相结合，从权值修剪角度解决极端学习机隐单元个数选择这个关键问题；提出脉冲神经网络运行新机制，即除了利用原有的脉冲激发时间信息(反应函数x(t)达到阈值时所需时间)之外，还要利用脉冲的激发强度信息（x(t)达到阈值时的导数值），希望在改善脉冲神经网络映射能力和学习速度方面取得突破性进展。

本项目致力于快速有效的神经网络学习算法的构造与分析，以及相关智能计算与生物信息计算研究。四年来共发表SCI检索论文20篇，EI检索论文8篇（不包括SCI和EI双重检索论文）。具体内容分为以下四个方面。.一、.继续研究神经网络在线梯度法这种最简单的随机型学习方法在某些情况下的确定型收敛性，发表SCI检索论文7篇。我们在前两个自然科学面上基金中，一直在研究这一课题。截止本项目完成，我们在这方面的工作涵括了各种主要的前向神经网络学习方法，可以说基本上告一段落。.二、.我们将信息处理理论中新兴的L-1/2正则化方法用于神经网络，在确定神经网络权值的优化学习过程中，同时解决神经网络结构稀疏化问题，即在保证学习精度前提下尽可能用更少的权值和单元。发表SCI检索论文5篇。并且，我们将本项目申请书中提到的隐层权值稀疏化问题推而广之，进而考虑输入层和输出层权值与单元的稀疏化问题，申请到了下一个自然科学基金面上项目。.三、.提出脉冲神经网络运行新机制，即除了利用原有的脉冲激发时间信息(反应函数x(t)达到阈值时所需时间)之外，还要利用脉冲的激发强度信息（x(t)达到阈值时的导数值），在改善脉冲神经网络映射能力和学习速度方面取得突破性进展。发表SCI检索论文2篇。由于在传统的脉冲神经网络中加入导数项，大大提高了网络精度。另外，我们从数学上证明，在脉冲神经网络学习算法中用到的被已有文献当作近似公式使用的一个转换公式实际上是严格成立的。.四、.除了上述关于神经网络学习算法与结构稀疏化研究之外，我们还进行了智能计算以及生物信息计算方面一些课题的研究。发表SCI检索论文6篇。其中有两个工作似乎分量稍重一些。一个是在生物信息计算中，我们利用二阶差商的变化确定最佳模式长度，解决了同时确定最佳模式与最佳模式长度的问题。另一个是我们将粒子群算法解释为一种一阶常微分方程的差分解。而以前的研究是将其解释为一个二阶常微分方程的差分解。我们的解释更易于理解，并且更易于据此构造更多的粒子群算法。