深度神经网络中的特征投影理论

Due to the striking performance of deep learning in various fields, deep neural networks (DNNs) have gained great attentions in modern computer science. However, the learning results of deep learning are often not explainable due to the lacking of theoretical supports. In this proposal, we apply a newly proposed approach, called “feature projection” to study the DNNs, which connects information theory, statistical learning, and machine learning in deep learning problems. We first establish the theory of feature projection in feature selection problems, which provides a theoretically optimal feature selection approach that minimizes the decision error probability. Then, we apply the feature projection to study the DNNs, and explain the mechanism of how DNNs select the informative features. Finally, we apply the feature projection to study the real-world problems, and explain the connections to the state-of-art algorithms, which demonstrates the theoretical foundations of machine learning algorithms.

近年来深度学习的成功带动了机器学习与人工智能的蓬勃发展。然而由於缺乏系统化的理论支撑，深度学习得到的结果往往存在着无法从人类角度解释的问题。有鉴於此，本项目采用一种新提出的特征投影理论，紧密结合信息论丶机器学习丶深度神经网络，对深度神经网络的特征选取提出具有可解释性的理论，同时展示机器学习算法与信息论之间的深刻内涵。首先，建立特征投影的研究范式，将信息论的统计数学理论与机器学习问题连结起来，对特征选择问题提出信息论的量化分析方法。其次，将特征投影的信息度量机制用于深度神经网络（前馈神经网络丶递归神经网络），度量不同网络层中选取特征的信息量；同时从理论角度解释深度神经网络中选取高信息量特征的机理，研究特征的语意与不同特征在学习问题中的意义。最后，研究有效的算法将特征投影的特征选取模式应用于现实中的数据分析问题，解释特征投影与当前深度学习算法之间的关系，理解影响深度神经网络效能的关键因素。

机器学习和大数据技术是当前人工智能最热门的研究领域。基于现今对机器学习的特征提取技术的理解，本项目的主要研究成果如下：（1）在许多机器学习场景中，HGR最大相关函数被证明是一种度量相关性和提取特征的有效方法。我们建立了一种数学框架来描述根据真实分布计算以及由ACE算法估计的最大相关函数之间的学习误差，并为监督学习和半监督学习场景建立了误差指数的解析表达方式。本项目研究了ACE算法学习HGR最大相关函数的样本复杂度上界。在机器学习问题中，为了有效提取数据变量之间的的相关性结构，我们的结果为设计所选择特征的维度提供了指导。（2）我们提出了利用信息理论方法来实现多随机变量隐藏结构的泛函表示，并诠释了该方法与HGR，PCA等机器学习方法的联系。3）基于特征投影框架和HGR最大相关性，本研究提出了一种新的回归分析方法，称为最大相关回归。我们将最大相关回归应用到深度学习中，提出了有效的训练算法来学习隐藏层中的权重。此外，我们还说明了最大相关回归与信息论和机器学习中已有的几种方法有着深刻的联系，包括特征选择问题、线性判别分析和softmax回归。（4）本项目研究了近似误差对最大相关函数及其计算精度的测度的影响。通过考虑一个变分ACE算法，它计算具有可控学习率的最大相关函数。该模型与Oja的算法，流式PCA，或噪声功率方法相关。在通用假设下，根据学习速率和迭代次数导出计算精度和相应的收敛速率的解析表达式，我们导出的边界证明了在噪声存在的情况下，变分ACE算法的计算精度、收敛率和学习率之间的最优权衡 （5）我们在多个案列中应用上述理论成果，包括情感识别，推荐系统，多标签学习问题等问题，这些应用验证了理论的正确性，并丰富了我们的研究范畴。在项目执行期间，共发表高水平学术论文19篇，其中SCI收录6篇，EI收录13篇；培养了博士研究生2名，硕士研究生4名。