截断高斯图模型支持的深度统计建模方法与关键技术研究

Deep neural networks, thanks to its powerful nonlinear representational ability and low-complexity training algorithm, have achieved tremendous successes in recent years in computer vision, natural language process and many other areas. However, it is also faced with many challenges, such as huge number of model parameters, serious overfitting problem, low efficiency on utilizing training data etc. On the other hand, statistical models, although they are less expressive than neural networks, have the advantages of flexible connections among nodes, alleviated overfitting problem, able to compute confidence interval, better interpretability etc. To blend the advantages of the above two types of models, this project intends to investigate how to introduce deep structures into statistical models, while maintaining the statistical models' easy-training characteristics. To achieve this goal, the project will target at, under the framework of truncated Gaussian graphical model (TGGM), the following tree tasks: 1) investigating how to realize different types of deep models with TGGM; 2) developing fast inference algorithms for high-dimensional truncated Gaussian distributions; 3) to further improve representational ability, studying how to learn the model structures from training data. The project is expected to provide a new modeling framework and its corresponding efficient training algorithm, with the blended advantages of both deep models and statistical models.

深度神经网络凭借其极强的非线性表达能力和低复杂度的训练算法，近些年在机器视觉、自然语言处理等领域取得了巨大成功，但也同时面临着模型参数数量庞大、过拟合问题突出、数据利用效率低下等诸多问题。相反，统计模型虽在表达能力方面不如神经网络，但却有连接灵活、过拟合问题较缓和、可输出置信度、解释性更好等诸多优点。为融合上述两种模型的优点，本项目拟研究如何将深层结构引入到统计模型中，并保留原统计模型简单易学的特点。为实现此目标，本项目将以截断高斯图模型为基础，完成如下三个任务：1）研究如何用截断高斯图模型来构建不同功能的深度模型；2）发展对高维截断高斯分布的快速推理算法；3）为进一步提升模型表达能力，探索如何根据训练数据来自动学习模型结构。本项目输出成果有望提供一种全新的融合了深度和统计模型优点的建模框架及其快速训练方法。

针对确定性神经网和传统概率统计模型都拥有各自的优缺点，本项目旨在通过研究深度神经网络和概率统计模型的融合方法及其关键技术，得到一种可以保留这两种模型的优点、抑制它们缺点的深度概率统计模型。为此，项目从深度概率统计模型的构建方法、高效的统计推理和学习方法、模型结构的学习等方面入手，开展了细致而深入的研究，并取得了如下重要进展：1）研究了如何使用表达能力更加灵活的离散先验分布来实现对数据语义信息的更好建模，从而得到支持端到端训练的生成式文本语义哈希模型；2）研究了如何利用深度概率统计模型实现对数据内容和关联信息的同时建模的方法，提出了一个可以将内容和关联同时建模的统一框架和高效的训练方法。3）研究了一种高效的统计推理算法——高斯置信传播算法的收敛条件和固定的之间的关系，证明了如果固定点存在，那么置信传播算法的方差一定收敛的重要结论；4）针对离散化的深度概率统计模型，项目也提出了一种可以允许变量相关的快速统计推理和学习方法。在项目执行期内，共发表高水平论文15篇，其中CCF A类论文6篇，中科院Top期刊论文1篇，CCF B类论文5篇，申请国家发明专利3个，获2020年度广东省计算机学会优秀论文一等奖；支持了2名在读博士研究生和7名硕士研究生的研究工作。