神经网络学习算法收敛性研究

本项目继续前两个国家自然科学基金的工作，深入研究神经网络在线梯度法这种随机型学习方法在某些情况下的确定型收敛性结果，这对于一般情况下得到的概率型收敛性结果是有益的补充，有助于更全面更深刻地理解和应用在线梯度法。具体任务包括：改进已有的确定型收敛性结果中的步长条件；对高阶神经网络设计更为精巧和有效的学习方法，例如在误差函数中加上对小权值的一种惩罚项，从而加快学习初期的收敛速度；用高阶神经网络高效率地实现布尔函数；利用我们已经证明的"模糊神经元的阈值在用于分类时可能是多余的"这一有趣事实，研究模糊神经网络和普通神经网络的区别与特点；研究在过程神经网络的误差函数中部分地去掉反馈项的影响；考虑神经网络学习过程收敛性与学习完毕后推广能力之间的关系；考察其它梯度型或类梯度型学习算法；给出参数的选择、加速收敛策略的设计等实用信息；总结提高我们的一些结果，使之纳入到更一般的机器学习理论框架中去。