复杂数据的稳健控制图和在线监控方法研究及其应用

With the development of modern technology, the volume and complexity of data have advanced rapidly. Complex data provides unprecedented opportunities and challenges for effective statistical process control. Based on complex data, this project seeks to exploit the theoretical innovations on robust control chart and data-driven applications on online monitoring. .This project includes two main parts as follows:.(1) The traditional control charts, which depend on the normal distribution assumption, are not robust enough to detect complex data. Therefore, we need to study further on the robust control charts for different circumstances, including (a) the robust control chart under overdispersion; (b) the adaptive RLCUSUM chart for the detection of grouped data; (c) the multivariate robust control chart to monitor the mean vector and covariance matrix simultaneously; (d) and multivariate nonparametric control chart based on the generalized empirical goodness of fit test..(2) We mainly focus on the theoretical advancement and application of online monitoring using insurance and E-commerce customer data. To meet the requirements of high-efficiency, low-cost and small storage space for on-line monitoring system, we propose new measurements and corresponding control charts. A two-step control scheme is proposed to monitor the quality of complex data streams. And an ARMA-GARCH model is constructed for online high-dimensional process monitoring. We will use dimension-reduction methods, like LASSO, PCA and top-r, to speed up the calculation and the local likelihood estimation to improve monitoring accuracy. The detection of censored data will also be studied.

信息技术革命推动数据的体量和复杂程度不断进阶，复杂数据的分析处理成为统计学界的前沿和热点。本项目依托统计过程控制理论，围绕复杂数据开展稳健控制图和在线监控的理论和应用研究。主要内容包括：（1）在前期研究基础上，深入开展稳健控制图的理论研究，开发监控过度离散数据的稳健控制图、监控分组数据的自适应的RLCUSUM控制图、能够同时监控均值向量和协方差矩阵的多元稳健控制图，和基于广义经验拟合优度检验的多元非参数稳健控制图。（2）研究复杂数据的在线监控问题，结合在线监控系统三要素（高效率、低成本、低储存空间），设计新的度量指标和复杂数据在线监控控制图；提出复杂数据流质量的两步监控系统，运用平稳回归模型实现高维数据的在线监控；通过降维技术和局部似然估计方法，分别提高系统运算速率和监控准确性；开展删失数据流的在线监控研究。本项目将上述理论研究成果应用于保险客户关系管理，电商消费行为监控等经济管理实践中。

本项目深入研究了在质量监督、商务管理、医疗健康、事故预警等多个领域中使用统计过程控制方法的数据监控方案。主要研究内容包括如下几方面：.首先，本项目研究了离散数据过程监控的改进。改进主要包含了如下几部分：我们构建了加权对数似然比统计量，并证明了该统计量的相关性质。所设计的加权累积和控制图在监控数据漂移时展现了很好的稳健性。此外进一步研究了对数似然比加权思想在一元和多元Poisson数据中的拓展，设计的控制图分别用于甲状腺癌患病数据和电信通讯行业的二元计数数据的监控，展现了良好的应用价值。.我们同时研究了全新的自适应与自启动的过程监控方案。这部分的内容包括：针对稀疏均值漂移，我们研究了自适应的多维控制图，将自适应获取最优平滑参数的算法应用在两种EWMA类控制图中。为降低参数估计的计算成本，我们采用基于AEE方法的参数递归更新策略，提高了计算效率与监控灵敏度。针对历史受控样本数据有限的情况，我们研究了基于迁移学习的自启动控制图，在预观测数据与观测数据分布较为接近时，该方案不仅更灵敏，也更加稳健。.此外，我们研究了有关数据存在质量差异与删失情况下的监控问题。数据质量对决策具有重要意义。首先，我们总结了六种数据质量的内在维度，根据数据流的特征提出了两步监控方案，通过监控地质灾害数据，验证了该方案的有效性。另一方面，针对删失数据，我们研究了在高删失率的情况下对于寿命数据的在线监控，构造了一个全新的半参数控制图；我们还设计了特定窗口删失数据下的在线控制图，填补了这一领域的空白。.项目还研究了控制图的其他一般理论与应用。这些研究内容包括了对商业经营指标、交通客流数据、动态系统数据、顾客流失率数据等不同的细分应用场景所构建的监控策略，以及关于最优序列检验的构建等理论方面的研究等。以上监控方案的效果均得到模拟数据和实际数据的验证。