基于群体智能的数据清洗技术研究

Data cleaning, which aims to detect and repair the dirty data, has played an important role in data analysis and data management. Unfortunately, automatic data cleaning methods are not keeping up with the changing data ecosystem, and user-guided solutions lead to lots of user involvement. Nowadays, the development of crowd intelligence brings new chances for data cleaning. Crowd intelligence is a hybrid human-machine intelligence, which combines massive human intelligence and machine’s computing and analysis capabilities to accomplish complex tasks. Therefore, we focus on data cleaning with crowd intelligence in this project to overcome the deficiencies of existing methods. The specific research content contains: (1) we design a basic framework for crowd intelligence based data cleaning, and study the problem of quality control in crowd intelligence to improve the accuracy of data cleaning; (2) we study cost control solutions based on deep learning and how to label the training data through active learning to minimize human and money cost in the data cleaning process; (3) we study the problem of holistic data cleaning with transfer learning, including holistic cleaning of multiple datasets with similar content and execution of multiple cleaning tasks to resolve the scalability problem of crowd intelligence based data cleaning.

数据清洗旨在识别和纠正数据中的错误，它是数据分析与管理过程中的重要环节。但目前自动的数据清洗方案无法适应多变的数据生态系统，而用户的引入导致大量的人工投入。当下，群体智能技术的发展为数据清洗的研究工作注入了新的活力。群体智能是人机协作的混合智能，通过融合海量的人类智能和机器的计算分析能力来完成较为复杂的任务。本项目拟研究基于群体智能的数据清洗技术，以弥补现有方法的问题和不足。本项目具体的研究内容包括：（1）设计基于群体智能的数据清洗的基本框架，研究群体智能中的质量控制问题以提高数据清洗的准确率；（2）研究基于深度学习的成本控制方案，并通过主动学习的方式标注训练数据，降低数据清洗过程中的人工投入和金钱开销；（3）研究基于迁移学习的数据统一清洗问题，包括数据内容相似的多个数据集的统一清洗和多种清洗任务的统一执行，解决基于群体智能的数据清洗的可扩展性问题。

本项目针对传统的数据清洗算法清洗质量不高、清洗效率低和人工投入较大的问题，提出研究基于群体智能的数据清洗技术，通过融合人的复杂认知推理能力和机器的海量计算分析能力来提升数据清洗的效果。研究目标是创建一套基于群体智能的数据清洗的理论体系和关键技术方法，包括设计基于群体智能的数据清洗的基本框架，并在质量控制、成本控制和可扩展性问题上展开研究。目前已完成了预定的目标，并取得了以下三方面的成果：（1）构建了基于群体智能的数据清洗技术的基本框架和优化机制，通过规则的逻辑推理和机器学习模型的构建降低众包成本，通过基于群智工人专长的任务分配机制进行质量控制，通过领域自适应技术完成数据内容相似的多个数据集的统一清洗；（2）研究了基于实体显著性和实体域的数据摘要生成和基于鲁棒损失函数的鲁棒模型构建的机制，解决了应用群体智能技术进行数据清洗的过程中的数据展示问题和基于模型进行成本控制时的标签噪声问题；（3）进行了基于群体智能的噪声检测技术和数据摘要生成技术的示范展示，推动项目成果转化。