条件独立结构的分解与学习

Conditional independence is an important concept originating from probabiity theory. It has been widely used in modern statistics and in many fields in artificial intelligence. To tackle high dimensional data in modern statistics, the property of decomposition is an effective strategy, and computational algebraic geometry is a strong tool. The property of decomposition means that one can split a global statistical problem into a series of local problems, and combine the results of these local problems to solve the original global problem. In fact, decomposition of conditional independence structures is the theoretical basis of this strategy. The advantages of using computational algebraic geometry to tackle statistical prolems are that it can solve some problems which can not be tackled effectively previously and some new problems. In this proposal, first, we study the decomposition of general conditional independence structures, that is, we mainly present a definition of decomposition for a general conditional independence structure, then, based on this definiton, we establish the relationship between decomposition and collapisibility of statistical models. Second, in the field of learning, based on structure information and tools in computational algebraic geometry, we focus on several popular problems of statistical inference, which include the computation of bases of vanishing ideals of graphical models, the problem of parameter indentification in latent class models, the study of limit distributions of likelihood ratio statistics when the ture parameters are singular points, and so forth.

条件独立是源自概率论的一个重要概念，它已被广泛地应用在现代统计学和人工智能的诸多领域。针对现代统计学中的高维数据，一个有效的策略是分解，一个有力的工具是计算代数几何。分解性是指把一个全局的统计问题转化成一系列局部问题并通过整合这些局部问题的结果来解决原来的全局问题。这一策略的理论基础是条件独立结构的分解。应用计算代数几何处理统计问题的优点在于，它可以解决以前未能有效解决的一些问题和现在出现的新问题。本项目中，我们首先研究一般条件独立结构的分解，主要是给出一般条件独立结构分解的一个定义，在此基础上研究其性质，并建立起条件独立结构分解与统计模型的可压缩性之间的关系。其次，条件独立结构的学习方面，我们主要考虑给定结构信息时，基于计算代数几何学的统计推断中的几个热门问题，包括图模型对应的消逝理想的基的计算，隐类模型参数的可识别性和参数真值是奇异点时似然比检验统计量的极限分布等问题。

本项目对条件独立结构的分解与学习问题进行了系统的研究，取得了一系列成果。首先，针对二项模型的精确检验问题，在样本量远大于分布的第一个参数m时，通过数据重表示和利用相应多项模型的极小马尔科夫基，我们提出了一种提高DS算法效率的方法。实际数据分析和模拟都表明我们的方法是有效的。其次，在图结构的统计学习中，忠实性是一个重要的概念。对任一无向图，我们证明了存在一个忠实的正的二值的多元全正二序分布，并将这个结果推广到了无向图与给定离散样本空间下的正的多元全正二序分布情形。接下来，在不平衡数据的分类中，我们提出了一种新的模糊规则，改进了分类的精度。最后，我们研究了离散马尔科夫网络和贝叶斯网络诱导的概念类的复杂性。对非平凡的离散马尔科夫网络，我们证明了它相应的VC 维数，欧氏嵌入维数，环面理想维数是相等的，这是直接计算概念类的 VC 维数的理论基础。对一般离散贝叶斯网络，我们给出了欧氏嵌入维数的一个上界。在本项目执行期间，项目组成员共发表 8 篇 SCI 论文，录用 1 篇 SCI 论文。有2篇论文已投往 SCI 杂志，还有部分结果正在整理中。培养硕士生 6 名，博士生1名。