人机融合智能数据挖掘系统中众包策略优化的研究

In the big data era, it is a great challenge to process and analyze the data. Due to the characteristics of high volume, high velocity, and high variety, human-computer fusion big data mining systems are introduced to leverage the strength of both humankind and machine learning algorithms. Considering the fact that there are a huge number of globally distributed online workers on crowdsourcing platforms, machine learning algorithms as “artificial intelligence” and crowdsourcing platforms as “artificial artificial intelligence” naturally form a human-computer fusion system. Quality and schedule control are essential to determine whether or not a crowdsourcing project succeeds in terms of how well and how fast the project finishes. Also, it is another big challenge to evaluate the submissions of workers in a timely and accurate manner. The proposed project studies the dynamics of crowdsourcing platforms by combining requester, task, and worker from the perspective of complex adaptive systems, on the basis of the agent-based modeling, and evaluates submissions of workers by machine learning algorithms. The proposed project aims at exploring the optimal crowdsourcing strategy by conducting design of experiments, so as to foster more intelligent human-computer fusion big data mining systems.

大数据时代，为应对数据的巨大体量、多样性以及复杂性等特点，结合人类与机器学习各自所长的人机融合数据挖掘系统应运而生。众包平台上有分布于全球的大量高素质的在线工作者。因此，作为“人工智能”的机器学习算法与被称为“人工的人工智能”的众包平台很自然地成为一个人机融合的智能数据挖掘系统。众包在成本、时间和人才方面具有优势，但质量和进度控制是决定众包成败的关键。同时，如何快速准确地评估众包任务质量也是一大挑战。本项目将众包的三个组成部分（任务需求者、任务、在线工作者）作为相互联系的有机整体,从复杂自适应系统的角度,以基于智能体建模为手段来研究众包平台的动态特性，以机器学习算法来评估任务质量，并以此为依据设计众包策略，从而加强质量和进度控制。本项目旨在通过实验分析建立实际可用的众包策略优化工具，为充分发挥人与计算机各自优势并进而构建更加智能高效的人机融合数据挖掘系统奠定坚实的理论和实践基础。

大数据时代，如何处理分析数据是一大挑战。为应对数据的巨大体量、多样性以及复杂性等特点，结合人类与机器学习各自所长的人机融合的数据挖掘系统应运而生。众包是一种通过互联网把工作分发给分布于全球的大量的在线工作者来完成的新型商业模式。众包平台上有分布于全球的大量高素质的在线工作者。因此，作为“人工智能”的机器学习算法与被称为“人工的人工智能”的众包平台很自然地成为一个人机融合的智能数据挖掘系统。众包在成本、时间和人才方面具有优势,但质量和进度控制是决定众包成败的关键。同时，如何快速准确地评估众包任务质量也是一项亟待解决的难题。本项目将众包的三个组成部分（任务需求者、任务、在线工作者）作为相互联系的有机整体，从复杂自适应系统的角度,以基于智能体的建模为手段来研究众包平台的动态特性，以机器学习算法来评估任务质量，并以此为依据设计众包策略，从而加强质量和进度控制。具体内容包括: 基于复杂自适应系统理论的众包平台理论模型，基于智能优化算法的具有鲁棒性的众包策略，以及大数据环境下机器学习算法的进化与众包任务的自动评估的相关研究。主要研究成果包括：通过在众包平台Amazon Mechanic Turk (AMT)上发布微任务 (Microwork) 数据建立众包在线工作者任务模型，并以此为基础利用开源仿真软件Repast开发众包平台多智能体仿真模型，此模型作为测试平台，不同的众包任务设计策略可以在其上进行测试和优化。使用此众包策略辅助设计工具生成的众包任务在AMT上发布均达到预先设定的准确性和时效性目标。为了实现众包任务质量自动评估，利用众包数据建立并训练了一个深度强化学习（DQN）模型。此DQN模型与Repast仿真模型共同组成了一个人机融合智能数据挖掘系统。餐饮外卖平台每天巨大的订单量是由众包骑手完成，具备众包业务的特点。因此，本项目采用类似的研究方案根据饿了么订单数据对外卖平台建模，辅以强化学习和智能优化算法，为订单配送策略优化提供了一个计算机辅助智能决策系统。