基于稀疏先验的网络数据的结构学习

With the development of technology, experiments, observations, and numerical simulations in many areas of science nowadays generate massive data. How to extract information from those data gives challenges for many disciplines of statistics and machine learning. Networks not only provide a new efficient method to visualize data but also give new ways to extract information from data. The work has shown that the real network Web does not have this random network structure.In fact, the degree distribution is a power law. Real networks are Scale Free. There are hubs which are very highly connected in real network. In this project,We study the network modeling and statistics inference of real network. we study the properties of the stochastic block model which is used for modeling the social network. We establish asymptotic normality rates for parameter estimations of stochastic block model by either maximum likelihood or variational estimation. And then we propose a degree corrected stochastic block model for the overlapping community detection. An EM algorithm based on the variational methods is designed to solve the model. Then we focus on the group variable selection. We generalize the high dimensional theory of classical sparse learning to group variable selection which mean that the number of group increases with the number of sample. Based on the concentration inequality, we study the non asymptotic theory. Finally, Using the sparse prior and the graphical model, we study the structure of network. We propose the Ising model with the scale free prior , the Gaussian graph model with attribute information of the nodes. And we study mixture model. The project for network data analysis provide a powerful tool for the network data modeling and statistical inference.

随着科技的发展，各个学科均产生海量数据，如何从数据中提取有用信息为统计学和机器学习提出了挑战。网络作为一种有效的可视化数据方法，同样也为从数据中提取信息提供了新的途径。研究表明，真实网络不同于随机网络，真实网络是Scale Free的，即真实网络中有重要节点存在，具有Hub。本项目针对真实网络建模、统计推断开展研究。首先研究具有Hub和有重叠社区的随机块模型，研究其模型的正态渐进性及高维统计分析；其次，针对具有组结构的稀疏正则化方法开展研究，研究基于非凸正则化方法的组变量选择，给出组变量选择高维统计性质分析，研究组变量个数随着样本个数增加而增加非渐近理论，研究修正的快速求解算法；最后，将先验信息和图模型相结合，开展网络的结构学习。研究基于无标度先验的Ising模型研究，研究具有属性信息的高斯图模型研究，研究具有先验信息混合模型研究。项目的开展可为网络数据建模及统计推断提供有力工具。

网络分析为从数据中提取结构信息新途径。本项目开展了稀疏性方法及基于稀疏先验的网络结构特征学习等工作。具体如下：.（1）提出了无标度网络的结构估计方法。在正则化框架下，通过Log和l1复合的惩罚函数引入网络结构先验。在算法方面，给出了问题求解的坐标下降算法， 并讨论了算法的收敛性。在社区随机块模型框架下, 从总体矩阵的估计误差, 错误聚类率, 连接概率矩阵的估计误差这三个方面给出了两种随机谱聚类算法对应的非渐近误差界。.（2）提出了求解变量组结构的Folded-Concave正则化的Group LLA算法, 并证明了当初值为Group Lasso时, Group LLA算法两步迭代可以得到具有强Oracle性质的解, 且一旦找到Oracle解, 算法就会收敛. .（3）开展了基于AMP 的L1/2正则化方法研究，采用Belief Propagation 算法的思想构造了改进的Half 阈值迭代算法, 并证明所提算法至多需要有限步就能精确估计稀疏向量。 进一步，通过稀疏信号重建验证了几种重要的非凸正则化方法的基于AMP 改进的阈值迭代算法具有强的信号重建和相变能力。提出了适用于凸及非凸正则化方法的具有隐私保护的稀疏分类学习算法。.（4）提出了具有社区特征的动态网络的估计方法。 在正则化框架下，利用Fused lasso惩罚函数融合每个时间节点对应的数据信息，并通过对网络中边对应的参数施以不同的惩罚从而使所得网络具有明显的社区结构。我们给出了模型理论上的解释，并给出问题求解的ADMM算法。 将所提方法应用于PM2.5数据估计城市之间的PM2.5污染网络以及社区，所得结果具有一定的可解释性。.（5）提出了具有协变量的有向图模型。在算法方面，基于有向无环约束，给出了问题求解的坐标下降算法。在理论方面，在节点次序已知的情形下，证明了估计的高维变量选择相合性。 .（6）研究了分布式的特征提取和变量选择问题。提出分布式非凸正则化方法，基于ADMM 算法给出分布式非凸正则化算法，证明了算法的收敛性。 算法通过相邻处理器之间完成信息交互，其变量选择结果与数据集不分割时利用非凸正则化相同。