基于信息瓶颈编码原理的深度学习研究

The rapid development of theories and techniques for big data makes the traditional machine learning methods face serious challenges, such as computability and effectiveness. As a promising solution and a new kind of paradigm, deep learning organically combines non-linear transformation with multi-layer representation through mimicking the deep architecture of human brain. It has a strong ability to express data. However, the existing researches on deep learning have not integrated the information bottleneck principle of human brain into the representation learning and feature extraction, which leads to the problems like redundancy representation, high storage requirement, strong noise and poor interpretability, etc. This project, based on the principle of information bottleneck, aims at constructing the theory for multi-layer non-linear representation with shortest length in the models of deep learning. The project will propose the encode rules for multi-layer encoding and the objection functions of deep learning which incorporates the information bottleneck principle. Through restricting the mutual information between hidden codes and target variables, the task-based multi-layer encoding with shortest length will be investigated, and the new deep learning models and algorithms to extract effective information will be designed. The obtained results will not only deepen and broaden the basic theories of deep learning, but also provide new technologies and methods for solving practical problems in the field of artificial intelligence.

当今快速发展的大数据理论和技术使得传统的机器学习方法面临可计算性与有效性等严峻挑战。作为一个富有前景的解决方案和新的学习范式，深度学习通过模拟人类大脑的深度组织方式，将数据的非线性变换和多层表示有机地结合起来，具有很好的数据表达能力。 然而，现有的深度学习方法并未将大脑中的信息瓶颈编码原理用于数据表示和特征提取， 导致学习过程中存在数据表示冗余量大、存储要求高、噪声大、可解释性低等问题。本项目拟借助信息瓶颈编码原理，针对深度学习模型中多层非线性数据表示进行最短编码构建理论研究，提出适用于多编码层的信息瓶颈编码规则和基于信息瓶颈编码原理的深度架构学习目标函数，通过约束隐层编码与目标变量之间的共有信息量来研究与既定任务有关的多层最短编码问题，设计能够提取有效数据表示的深度学习模型和算法。项目所获结果不仅能够深化和拓宽深度学习的基础理论，而且能为解决人工智能相关领域的实际问题提供新技术和新方法。

面对丰富的信息维度，传统的浅层学习理论和方法在可计算性和有效性等方面面临严峻的挑战。作为一个新的学习范式，深度学习通过模拟人类大脑的深度组织方式，能够深刻揭示海量数据中承载的复杂信息。然而，现有的深度学习方法并未将信息瓶颈编码原理用于数据表示和特征提取， 导致学习过程中存在数据表示冗余量大、存储要求高、噪声大、可解释性低等问题。本项目拟借助信息瓶颈编码原理，针对深度学习模型中多层非线性数据表示进行最短编码构建理论研究，设计高效的能够提取有效信息的深度学习模型和算法，为解决人工智能相关领域的实际问题提供新技术和新方法。所取得的主要成果集中在以下几个方面：.为了在特征提取过程中整合类标签信息，我们通过在限制玻尔兹曼机中嵌入两种约束提出了一种新的正则化限制玻尔兹曼机，使得类信息更明确的反应在特征提取过程中。一种约束为了减少同类数据所提取特征之间的距离，另一种约束为了增加不同类数据所提取特征之间的距离。这两种约束引入到限制玻尔兹曼机中使得提取的数据特征包含了更多的类别信息，有利于得到更好的分类结果。我们在几个数据集中分别做了验证，结果显示所提出的模型能够学到更具有判别信息的表示，在处理分类问题时优于相关的最先进模型。.通过在亥姆霍兹机的顶层添加一个额外的隐层提出了一种改进的亥姆霍兹机。这种新的模型能够模拟顶层的生成概率。所添加的隐层为原始的顶层提供了补充先验，从而削弱了‘explaining away effects’，使得亥姆霍兹机能够更好地模拟感知输入。针对各种类型数据集的实验结果表明改进的亥姆霍兹机能更好地模拟数据。.针对多层网络中的稀疏响应，提出了适用于多编码层的信息瓶颈编码规则和基于信息瓶颈编码原理的深度架构学习目标函数，通过约束隐层编码与目标变量之间的共有信息量探讨了与既定任务有关的多层最短编码问题，设计了能够提取有效数据表示的深度学习模型和算法。