基于变分推理的马尔可夫随机场可近似性层次结构研究

The probabilistic inference of Markov random fields (MRFs) is an important method to manipulate the complex and uncertain data in the field of artificial intelligence. The computational complexity theories have proved that the exact probabilistic inference is hardness and inapproximability for general MRFs. Current approximate inference algorithms are lack of accuracy analysis, while the approximate computational theories pay litter attention to the approximability hierarchy of the probabilistic inference problem. This project designs the variational inference methods with error bound, and then present a approximability hierarchy structure for the probabilistic inference problem in the MRFs. The research include: ① First we construct the variational transforms with error metric to measure the accuracy loss, and present variational optimization problems. ② Then design the message propagation forms based on bounds to solve the optimization problems, and present the variational inference algorithms with accuracy bounds. ③ From the computational complexity point of view, we construct the four approximability hierarchy structure based on the model parameters, which reveals that different model paramters lead to different approximability. This research has innovation in the computational complexity of approximate inference, and provides guidance for the specific applications of the inference methods of probabilistic graphical models.

马尔科夫随机场模型概率推理是人工智能学科处理复杂数据和不确定性数据的重要方法。计算理论研究证明一般模型精确概率推理是难解的，且不可近似的。在近似推理算法设计方面，已有的工作在计算精度分析方面有所欠缺；在近似计算理论方面，近似推理的难解性实质、可近似性难易程度等问题的研究也比较少。本项目拟开展具有误差界的变分近似推理算法研究，并以此为基础从近似计算理论角度研究概率推理问题的可近似性，建立针对模型参数的可近似性层次结构。包括：①构建具有误差度量的共轭对偶变分转换，量化变分转换中的信息量损失；②设计界消息传播方式求解变分优化问题，给出具有误差界的变分推理算法；③结合上述具有误差界的变分推理算法，从近似计算理论角度建立针对模型参数的四层可近似性层次结构，揭示不同模型参数下概率推理问题可近似的难易程度不同。该研究工作在近似概率推理计算复杂性方面有一定创新，并为概率图模型推理的具体应用提供了指导。

图模型是人工智能学科表示大规模复杂数据的重要方法，近似概率推理是图模型上近似处理数据的重要手段，变分推理是一种重要的近似推理方法。计算理论研究指出一般图模型精确概率推理是难解的，且不可近似的。本课题基于变分推理方法研究了马尔可夫随机场模型的可近似性，以模型参数为度量指标，建立了基于模型参数的三层可近似层次结构，并进一步开展了基于变分推理的多层表示模型研究。.对于变分推理算法，变分转换是通过引入自由分布把精确概率推理问题转化为变分优化问题，变分转换中的误差度量是研究变分近似推理精度的关键问题，其中基于共轭对偶的变分转化方法扩展了传统的基于自由能量的变分转换思路。针对极限学习图模型，通过对模型参数引入全共轭对偶自由分布进行变分近似，提出变分贝叶斯极限学习模型。该模型利用单隐层神经网络较强的数据拟合能力扩展了线性拟模型的数据表达能力；对于输入层的权重参数进行随机化赋值，极大提高了模型的训练速度；同时引入参数的共轭自由分布，将计算参数后验概率的推理问题转化为优化问题进行求解，有效的提高了学习的稳定性和泛化性。对于该变分模型自由分布结构选择问题，进一步通过分析参数后验概率分布的超参数对自由分布结构进行截枝，得到有效的自由分布模型。针对伯努利变量的马尔可夫随机场模型概率推理可近似性问题，首先以模型参数为指标分析均值场变分推理方法的收敛性，根据收敛性把完整的参数空间划分成全局收敛、局部收敛和离散三个子空间，然后基于区间传播的变分推理方法在不同的区间上分析了马尔可夫随机场的可近似性，最终建立基于模型参数空间的三层可近似层次结构。.此外，利用本课题前期研究成果，开展了基于变分推理的多层表示模型，包括：分析了基于随机化输入的单隐层神经网络的变分自编码模型精度及时间复杂度；提出了变分自编码混合表示模型； 结合KS检测研究了基于变分贝叶斯的高斯混合模型结构选择问题。同时图模型变分推理研究成果在生物识别、用户推荐、云系统数据聚类等应用中都有较好的性能。