前馈神经网络的奇异学习动态研究

由于结构对称性等原因，多层感知器、RBF网等前馈神经网络的参数空间中存在大量的奇异区域。受这些奇异区域的影响，前馈神经网络的学习过程中普遍存在着局部最小点多、学习速度慢、学习易陷入平坦区（plateau）等异常现象。研究奇异区域附近的学习动态，对理解神经网络的动力学行为、改善神经网络设计等具有重要意义。本课题拟通过分析奇异区域的稳定性及其附近的学习轨迹，研究神经网络的奇异学习动态，并揭示plateau现象为代表的各类奇异学习行为的内在机理。研究结果将为改进神经网络学习和设计提供理论支持。