高冗余低价值密度数据管理理论与关键技术研究

Universal deployment of sensor and wireless communication technologies brought us large-scale machine-generated data. Acquisition, storage and processing of such machine-to-machine (M2M) data is at the forefront and core of smart manufacturing, Industry 4.0 and Internet-of-Things. For data management technologies, this means the transition from the first generation of transaction data, the current generation of interaction data to the next generation of machination data, which brings significant challenges because of the characteristics of high redundancy, low value density and streaming nature. This project is based on the data management philosophy that different applications have different requirements for M2M data with different data abstraction and processing needs. We aim at developing a general system approach for whole-life-cycle M2M management and processing, with a theory on data pyramid such that different and coherent processing at different levels can be efficiently and defectively supported. We will develop a suite of enabling mechanism including algorithms and tools to support raw data optimization, data compression, event detection, data linking and knowledge extraction, as well as data indexing, fusion and distributed processing.

传感和无线通信技术的发展催生了大规模的机器数据，对这些数据的获取、存储、处理是驱动智能化制造的关键，也是工业4.0的核心。从数据管理而言，这意味着由事务数据、交互数据到机器数据的变革，使得我们必须面对机器数据的高冗余、低价值密度、流式数据等特征所带来的一系列全新挑战。另一方面，不同的应用看待机器数据的视角、对数据的抽象和处理要求各不相同，因此需要一个能够支撑机器数据管理的系统性方法，支持机器数据的全生命周期管理。对此，本项目拟研究机器数据的分层管理机制，使其能够柔性适配不同应用、不同要求的数据处理。重点突破机器数据的分层理论，刻画数据自入库到知识凝练的过程在不同层次的数据抽象本质；设计一套通用、易用的跨层间数据派生机制，优化原始数据、统计、事件和知识的表示与复杂联动。对每个层次，我们还将研究针对性的数据压缩、数据质量管理、索引与分布式策略和融合混合机制，实现对机器数据的灵活、有效管理。

M2M大数据的获取、存储、处理是驱动智能化制造的关键，也是工业4.0的核心，是驱动我国产业转型升级的关键问题。从数据管理而言，这体现出事务数据、交互数据到机器数据的变革，使得我们必须面对机器数据的高冗余、低价值密度、流式数据等特征所带来的一系列全新挑战。本项目以机器数据管理为核心问题，重点突破数据的分层管理机制以一体系化的方式支持机器数据的全生命周期管理，涵盖实时数据校正和监测、数据存储、数据压缩、语义提取、数据保留策略、数据链接和溯源管理和高效的查询处理。..课题组研究并提出了基于分层理论的机器数据管理机制，体现从原始数据到知识凝练的过程，包括相关的数据组织理论、分层存储方法、跨层的数据派生与联动机制等，代表性成果发表在CCF-A 类顶级会议IJCAI 2018、CCF-A类期刊TKDE 2020、以及CCF-B 类高水平国际会议DASFAA 2019等；针对机器数据冗余高、价值密度低、数据质量差等问题，提出了一套针对性的机制，涉及每层机器数据的数据质量管理与数据校准策略，代表性成果发表在CCF-A类顶级期刊IEEE TKDE 2021、CCF-B类高水平国际会议CIKM 2018等；提出了每层数据的处理保证机制，包括对底层数据的索引和查询优化方法。相关成果发表在高性能计算领域CCF-A类顶级期刊TPDS 2018、数据库领域CCF-A类顶级期刊TKDE 2021等。..除原定计划，我们还针对本领域相关的一些研究热点展开了调研，包括M2M数据与交互数据相结合的数据分析与建模，例如结合用户位置和动态偏好的推荐模型和少样本偏好建模技术。相关成果发表在数据挖掘领域CCF-A类顶级会议IJCAI 2021和CCF-B类会议CIKM 2021，为本项目的后续研究指出方向。