复杂高维数据流的实时监控策略研究

Manufacturing and service processes generate large amounts of data moment by moment, forming data streams over time. These data streams jointly represent the process stability, and simultaneously monitoring them can assure the process quality. In many applications, a large number of sensors or process variables result in high-dimensional data streams. As an important methodology in modern quality control, multivariate statistical process control (MSPC) can simultaneously monitor many variables. However, in high-dimensional cases, traditional MSPC cannot be applied. Furthermore, on one hand, high-dimensional data streams may involve different data types; on the other hand, correlation or causation across data streams may exist, so does temporal autocorrelation within a data stream itself. All the above imposes new challenges to real-time surveillance. This project aims at developing efficient and real-time surveillance schemes for high-dimensional data streams that exhibit across-stream correlation, or across-stream causation, or within-stream autocorrelation. In addition, two types of data, namely continuous and categorical, are considered. The proposed methodology can overcome the shortcomings of traditional MSPC and meet the real-time requirement of online surveillance.

制造和服务过程每时每刻产生大量的数据，随着时间推移形成了数据流。这些数据流共同体现了过程的稳定性，需要实时监控每个数据流以确保过程质量。很多应用中由于传感器数量很大或者变量个数很多等原因，需要同时监控的数据流个数庞大，这就形成了高维数据流。作为现代质量控制中重要的方法论，多元统计过程控制（MSPC）可用于同时监控多个变量。然而，在高维情形下，即数据流个数或变量维数p很大时，传统MSPC通常不再适用。而且，高维数据流包含不同的数据类型，同时数据流之间可能存在相关性或因果关系，各数据流自身也可能存在时间自相关性。这些都给实时监控提出了新的挑战。本项目旨在开发出有效的实时监控具有流间相关性、流间因果关系或流内自相关性的高维数据流的方法，并涉及连续和分类两种数据类型。本项目开发的方法能够克服传统MSPC在高维情形下的不足，也能够满足在线监控的实时要求。

随着传感器和计算技术的普遍应用，越来越多的生产和制造过程会生成高维数据流，这些数据流反映了过程的稳定性。本项目研究了高维数据流的实时监控，旨在基于高维的各种基本数据类型的过程或质量特性，设计出有效的统计过程控制方法，以及时发现过程异常，确保过程的质量。首先，针对高维连续型数据，本项目建立起监控其协方差矩阵稀疏性变化的有效方法；当其具有潜变量结构时，本项目推导了基于主成分空间和残差空间的联合监控统计量，也融合了各种变异的方向信息进一步提高监控的效率；本项目也考虑了多峰高维连续型数据的监控，设计了自适应的质量控制图，能有效检测局部分布及其概率的变化。第二，针对高维有序分类型数据，本项目提出了全新的位置-尺度对数线性模型，在此基础上设计了能有效检测潜在的高维连续型变量位置参数、尺度参数和相关性变化的方法；对具有因果关系的高维有序分类型数据，本项目提出了条件有序对数线性模型和有效的监控方法；本项目还将时间自相关的有序分类型数据转化为多元数据，提出了全面监控自相关有序分类型数据各种参数的方法。第三，针对自相关泊松计数数据，本项目开发的监控方法几乎一致的优于已有方法，并在过离散情形下效果仍然很好；针对总体大小随时间变化的过离散计数型数据，本项目设计了同时监控事件发生率和过离散因子的控制图。此外，本项目考虑了早期数据流中数据量偏少带来的分布推断问题，提出了基于迁移学习的在线递归式概率分布估计方法。.高维数据流的实时监控一直是质量管理领域研究的热点和难点。本项目提出的方法及时填补了研究空白，是对统计过程控制方法论的完善，也为实时监控提供了有力工具。在本项目支持下，项目组在SCI期刊上发表论文11篇，在EI期刊上发表论文1篇，在科学出版社出版专著1部。发表论文的期刊包括工业和系统工程师协会旗舰期刊IISE Transactions，以及自动化领域顶级期刊IEEE Transactions on Cybernetics等。以上论文和专著均标注了国家自然科学基金资助和本项目批准号。.