基于非凸正则化的高维协方差矩阵估计方法研究

High-dimensional covariance matrix estimation with limited samples is a challenging problem in many applications of high-dimensional data statistical analysis. To achieve better estimation of high-dimensional covariance matrix, intrinsic structures (e.g., sparse, low-rank, Kronecker product, etc) of the covariance matrix can be exploited by using regularization techniques. However, existing methods are limited in realistic applications in the following aspects: (1) most existing methods use convex penalties for sparse and low-rank regularization, which have a bias problem; (2) lack of positive-definite constraint in covariance matrix estimation; (3) lack of low complexity methods suitable for high-dimensional conditions. To address these problems, this project studies the problem of high-dimensional covariance matrix estimation based on non-convex regularization. Firstly, using non-convex regularization and positive-definite constraint, optimization formulations of covariance matrix estimation will be designed, and efficient non-convex optimization algorithms will be developed. Secondly, based on non-convex matrix norm decomposition and linear-shrinkage method, low-complex algorithms suitable for high-dimensional conditions will be developed. Further, the convergence properties and convergence conditions of the proposed non-convex optimization algorithms for covariance matrix estimation will be analyzed. Finally, the statistical performance of the proposed covariance matrix estimation methods will be analyzed in the case of limited samples, which would provide theoretical guarantee for the application of the proposed methods. The above researches will provide new ideas and new methods for covariance matrix estimation in the applications of the statistical analysis of high-dimensional data in various fields.

有限样本下的高维协方差矩阵估计是众多领域高维数据统计分析应用共同面对的一个难题。利用协方差矩阵的内在结构特性(如稀疏、低秩、Kronecker积等)可以显著提升其估计性能，但现有方法存在以下局限性：①基于凸正则化的估计方法存在估计偏差问题，其性能有待进一步提升；②对协方差矩阵的正定性约束缺失；③缺少适用于高维情况的低复杂度方法。针对以上问题，本项目研究基于非凸正则化的高维协方差矩阵估计方法。首先，基于非凸正则化和正定性联合约束，设计协方差矩阵估计优化准则，并提出高效的非凸优化求解算法。其次，基于非凸矩阵范数分解和线性收缩法，避开矩阵奇异值分解运算，提出适用于高维情况的低复杂度算法。然后，分析协方差估计非凸优化算法的收敛特性和条件。最后，在样本有限情况下分析协方差矩阵估计方法的统计性能，为其应用提供理论支撑。通过以上研究，为多领域高维数据统计分析应用中的协方差矩阵估计提供新思路和新方法。

高维协方差矩阵估计和高维低秩矩阵估计是高维数据分析的重要基础性工具，在众多高维数据统计分析应用中发挥着至关重要的作用，在通信、雷达、智能电网、地质统计学、经济和金融学、生物学和生物信息学、社会网络、化学计量学和气候研究等诸多领域都有广泛的应用。本项目研究了高维协方差矩阵估计、高维低秩矩阵估计的基础性方法方面，以及面向大规模MIMO系统应用场景基于高维随机矩阵理论的鲁棒预编码技术，取得以下研究成果:.1）在高维协方差矩阵估计方面，针对非凸正则化下正定协方差矩阵估计的非凸优化难题，提出基于迭代加权法与交替方向乘子法相结合的高效带正定性约束的协方差估计算法，在提升估计精度的同时显著降低了计算量，并通过仿真实验和实际的肿瘤组织基因聚类实验验证了该算法的优势。.2）在低秩矩阵重建方面，提出利用近似块坐标下降算法来有效地解决非凸正则化鲁棒主成分分析问题，对于具有间断阈值函数的一类罚函数，从理论上建立了该算法收敛到受限严格局部极小点的特性，以及局部线性收敛率特性。同时，针对非凸正则化下的低秩矩阵补全问题，分析了非凸情况下投影梯度下降算法的理论收敛特性，建立了投影梯度下降算法的有限秩收敛特性、收敛到严格局部极小的收敛特性、以及最终的线性收敛速度。.3）在基于高维随机矩阵理论的鲁棒预编码方面，针对信道状态信息的非理想性，提出一种特征推断预编码方案，以改善非理想信道状态信息下大容量MU-MIMO系统的误差性能。此外，针对大规模MIMO系统功耗大的问题，提出了高效的非凸优化1比特预编码算法，分析了该算法的收敛条件，该算法在提高算法效率的同时（比半定松弛算法快100倍以上），可以达到与半定松弛算法相当的性能。.本项目成果共发表论文11篇，包括IEEE T-SP、IEEE T-BD、IEEE T-CSVT、IEEE T-WC等IEEE Trans期刊论文9篇。