深度概率图模型的学习与推理预测

This project will study on the probabilistic graphical models through deep learning ideas integrals, establish the theory on deep learning probabilistic graphical model and predictive inference mechanism, reveal the intrinsic relationship among data samples, develop the optimization algorithm which is tractable for the data inference for prediction, and provide the theoretical basis and application examples for the nonlinear complex data analysis and forecasting. For deep learning graphical model frameworks the project will use hidden variables, cluster layer of observable variables and thin joint tree method. It will pay attention to the intrinsic attribute of the deep learning probabilistic graphical models so that it is easy to reorganize the probability distribution factors, and to represent the distributions compactly with fine expansibility. The project will explore the dependent relationship of the different variable layer, establish the adaptive adjustment measures for inference, and improve the effectiveness of prediction intelligent. An optimization algorithm will be presented to balance data prediction time, the space of access and the prediction quality factors. The project will be carried out in the frequency hopping sequence based on deep learning models and some simulation experiments. It will do the analysis of influence factors, the forecast effectiveness and the amount of training data, and provide effective scheme of frequency hopping sequence prediction for miss data. By the project we will establish the theory foundation for deep learning probabilistic graphical models for data analysis and intelligent prediction, and provide technical support and application examples for real-time, intelligent and effective data analysis and prediction.

本项目将深度学习的思想融入概率图模型，通过建立深度概率图模型的学习理论和推理预测机制，揭示数据之间的内在概率关系，开发易于实现数据推理预测的优化算法，为大容量、非线性的复杂数据分析预测提供理论基础和应用范例。本项目通过引进隐藏变量层、聚类可观察变量、应用薄联合树方法构建深度图模型的框架，研究概率分布因子易于重组、数据样本表示紧凑、具有良好可扩展性的深度图模型的内在属性。分析深度图模型不同类型变量层的依赖关系、建立推理过程的自适应调节措施，提高数据推理预测的智能化，构建平衡数据预测时间、数据存取交换空间和推理预测质量的优化算法。开展基于深度图模型的跳频序列预测研究与仿真实验，分析影响预测效果和训练数据量的要素，研究数据缺失跳频序列预测的有效方案。通过本项目的开展，建立深度概率图模型的学习与智能推理理论基础，为数据分析预测的实时性、智能性和有效性提供技术支持和应用范例。

本项目基于图模型研究数据分析和预测，主要研究工作有：(1)数据预测与统计推断研究：数据预测与统计推断是机器智能化和智慧化的关键技术，项目组开展了数据预测与统计推断理论研究和应用研究，并将理论研究成果应用于电力负荷预测模型，结果表明，所提模型在短期电力负荷预测中具有较好的性能和较低的不确定性。(2)数据降维与变量选择研究：项目组研究了非线性模型变量选择问题，利用信息度量来推导候选自变量与目标变量的确定性相关度，得出非线性模型变量选择的信息度量统计量，提出了一种新颖的最大相关-最小共同冗余准则，在数值模拟实验中，进行大样本和实际案例实验，通过模型对比试验，验证了该模型的优越性和有效性。(3)数据分类理论与分类器研究：研究了离散马尔可夫网络和贝叶斯网络诱导的概念类的VC维数和欧氏维数。我们证明了由离散马尔科夫网络所诱导的概念类的两个维数值相同。提出了一个模糊相对熵的概念来衡量两个模糊集之间的差异，应用模糊相对熵，证明了高模糊性模式接近分类边界的结论。(4)不平衡数据的分类问题研究：针对不平衡数据的分类问题，我们提出了一种基于模糊规则的过采样技术；我们提出了一种基于模糊代表度差的过采样技术，它利用了近邻传播算法和染色体遗传理论。模糊代表度差作为一种新的不平衡度量，它关注的是样本的质量，而不是样本的数量。(5)数据聚类与多标签数据分类研究：为了提高基于决策函数的分类质量，我们提出了一个新的特征权重的方法，它把特征属性的正负类频率比作为权重，此特征权重来源于数据本身，能够较好的适应于数据集的变化。项目组提出了基于多数类代价和少数类价值评估的多标签不平衡数据的分类算法。我们将最大相关最小冗余的特征选择算法与链分类器相结合，同时考虑了标记之间的相关性与冗余性，以减少扩充的属性个数，降低计算复杂度，得到一个结构简单且分类性能良好的选择性链分类器。