深度神经网络的margin理论

Deep learning has demonstrated great empirical success with increasing data and computation power. However, there is a lack of theoretical foundation of deep learning. Specifically, there is no learning theory that explains why deep neural networks generalize well. In this project we plan to study the generalization theory of deep learning; and establish a margin theory for deep neural networks. We plan to characterize the margin complexity of deep neural networks, analyze how the empirical margin distribution depends on the depth of the network. The goal of this project is to provide theoretical understanding of deep learning. We also aim to develop new deep learning algorithms, which directly optimize the empirical margins, and therefore guarantee the generalization ability. We next plan to study the optimal structure of networks with a given number of edges (free parameters). We will apply the new algorithms to computer vision and natural language processing problems as well.

随着数据的大量积累以及计算能力的不断提升，深度学习近年来在多项应用中取得成功。但深度学习的基础理论，即为何深层神经网络具有优异泛化能力的研究，目前尚无突破进展。本项目研究深度学习的泛化能力，旨在建立较为完整的深层神经网络margin理论，分析网络深度与margin的联系，刻画网络的margin复杂度。为透彻理解深度学习提供理论基础。研究并设计全新深度学习算法，以优化margin为目标，进一步增强泛化能力。研究给定边数条件下，泛化意义下最优网络结构。将深度学习算法、最优网络结构等成果用于解决计算机视觉、自然语言理解等领域的实际问题。

深度神经网络在大量任务上有着十分优异的表现，包括语音识别、计算机视觉、自然语言处理等等。尽管在深度学习在实际中的应用效果非常好，但是目前学术界对深度神经网络的理论理解仍然不足。本项目重点研究深度神经网络的泛化理论，旨在建立较为完整的深层神经网络margin理论，分析网络深度与margin的联系，刻画网络的margin复杂度，为透彻理解深度学习提供理论基础。..针对深度学习为何具有优异的泛化性能，我们分析了神经网络的深度对网络泛化能力和表达能力的影响。我们从统计学习理论的角度，研究了使用Stochastic Gradient Langevin Dynamics (SGLD)算法解决非凸的风险最小化问题。针对深度神经网络具有强大表示能力的原因，我们证明了宽度受限神经网络的通用近似理论，深入研究了宽度对神经网络表达能力效率的影响。我们探索了如何定量描述深度神经网络学习的特征，并基于神经元激活子空间匹配模型建立理论。我们证明了对于带有残差连接的过参数化的深度神经网络，梯度下降算法可以在多项式时间内找到全局最小值。..本项目在包括JMLR, TPAMI、NeurIPS, COLT, ICML等机器学习领域权威学术刊物、会议上发表高水平论文25篇。本项目还培养了4名研究生。