基于几何拓扑的网络众包策略研究

With the rapid growth of Internet and wireless networks, crowdsourcing strategy provides us a new opportunity to conduct user studies from an Internet crowd in Big Data era. Since such a crowd can be quite large, it enables researchers to conduct experiments with a more diverse set of participants at a lower economic cost than would be impossible under laboratory conditions. In this project, we aim to develop robust and low-economic cost strategies for crowdsourcing subjective studies. Specifically, as the data quality might be significantly damaged in an uncontrolled crowdsourcing environment, by introducing geometric and topological principles, we propose to establish an outlier detection method which is suitable for large scale crowdsourceable pairwise data. On this basis, we further design some simple yet fast algorithms for adaptive outlier detection which can estimate the number of outliers automatically. Besides, considering task requester usually only has a limited amount of budget, we study two scenarios of active sampling (i.e., unsupervised sampling and supervised sampling) to wisely allocate the budget to achieve better quality of the finally aggregated result. Our project plans to achieve breakthrough in the task of crowdsourcing experimental design. Moreover, world-class research achievements in paper publication and personnel training will be obtained.

随着互联网及无线宽带网络技术的迅猛发展，网络众包因其具有成本低、参与人员广泛、数据量大等优点，提供了大数据时代下通过群体来完成主观评测的新途径。本项目以提升网络众包测试结果鲁棒性和节约测试成本为研究目标。考虑到网络众包环境收集的数据存在噪声和异常，本项目将以相关几何拓扑学理论为基础，建立针对比对测试数据、适合大数据的统计抑噪和异常样本检测方法；在此基础上进一步提出自适应的、能自动检测异常样本的快速算法。此外，考虑到实际应用中测试成本有限，本项目还将研究无监督和有监督两种场景下不同的主动采样机制，从而为互联网网络众包实验节省测试成本和开销。本项目拟在网络众包主观实验设计的任务上取得突破，并且在论文发表、人才培养等方面取得具有国际领先水平的研究成果。

近年来，互联网技术的飞速发展及人机交互技术的快速普及催生了一种新的数据收集方式：网络众包标注。本项目聚焦于众包的鲁棒性及高效性两大关键技术点，围绕鲁棒异常样本检测、自适应异常样本检测及组合Hodge理论框架下的主动采样三大研究内容展开了系统研究，取得了如下进展：1）在基于linearized Bregman Iteration的鲁棒异常样本检测方面，构造了基于Huber LASSO的稀疏异常样本检测算法，证明该算法可提供不一致排序子空间分量的相合稀疏近似，并进一步根据linearized Bregman Iteration动力系统方程构建了稀疏正则化项的超参数优化方法，实验结果证明该方法可在加速超参数选择的情况下给出近似无偏的排序；2）在基于iterative Least Trimmed Squares的自适应异常样本检测方面，分别在已知及未知异常样本数量的条件下，通过损失函数重构方法给出了Least Trimmed Squares的0范数正则框架下的异常样本检测多项式时间近似求解算法，理论分析证明在一定假设下所提出算法可快速收敛于真实参数，并可给出具有统计相合性的参数估计，实验结果进一步证明所提出算法性能提升显著；3）在组合Hodge理论框架下的主动采样方面，针对无监督场景，提出基于Fisher信息最大化的主动采样算法，针对有监督场景，提出基于Bayesian信息最大化的有监督主动采样，性能优于当前的最佳方法CrowdBT, 并且可以加速30倍以上。在本项目的资助下，共发表/录用论文30篇，其中CCF-A类论文29篇，包括T-PAMI 2篇、T-KDE 1篇、T-IP 2篇、NeurIPS 3篇、CVPR 1篇、AAAI 11篇、ACM MM 9篇。人才培养方面，项目负责人先后获得中国人工智能学会吴文俊人工智能优秀青年奖、中国人工智能学会最佳青年科技成果奖、中国图象图形学学会石青云女科学家奖、ACM中国SIGMM新星奖、中国人工智能学会吴文俊人工智能自然科学一等奖（排名第3）等一系列奖项，培养的多名博士生硕士生获得微软学者奖学金、百度奖学金全球20强、国家奖学金、中科院百篇优博论文等一系列奖项。此外，申请人积极参加各类学术服务，先后担任IJCAI SPC和ICME AC，以及多个顶级期刊和会议（T-PAMI, ICML, NIPS, CVPR等）的审稿人。