众包测试报告约简方法研究与应用

Crowdsourced testing is an emerging technique for software testing, and it has attracted a lot of attention from both industry and research. In crowdsouced testing, workers help developers perform testing and submit test reports, developers must manually inspect and evaluate these test reports. However, crowdsourced testing may contain a great number of redundant test reports, severely influencing the inspection efficiency of the developers. Recently, researchers focus on mining crowdsourced test reports. The main target is to select the minimum number of high-quality test reports which can cover all the bugs by test report reduction. However, existing studies only analyzed the impact of redundant test reports on resolving software tasks, no systematic method is proposed for test report reduction. In this project, we issue a series of research problems on test report reduction, which aims to mine, analyze, and reduce redundant test reports. These research problems can be divided into three levels, namely 1) the level of model building - how to build models for test report reduction to filter redundant test reports, 2) the level of model analysis - how to improve the performance of the models on handling large-scale data, 3) the level of model application - how to apply test report reduction to resolve various important software tasks related to test report handling. Based on existing research foundation, we design a practicable solution. This project can effectively improve the handling efficiency of test reports and enhance the current work on mining software repositories.

众包测试是一种新兴的软件测试技术，已经引起了学术界和工业界广泛关注。在众包测试中，工人帮助开发者执行测试并提交测试报告，开发者需要对测试报告进行审查和评估。然而，众包测试会产生大量冗余测试报告，严重影响开发者审查效率。近年来，研究者开始关注众包测试报告挖掘，主要目的就是对测试报告进行约简，筛选出能覆盖所有bug的最少数量的高质量测试报告。然而，现有研究仅仅分析了冗余测试报告在任务求解中的影响，并未形成系统的方法约简冗余测试报告。本项目围绕如何挖掘、分析和约简冗余测试报告，凝练出一系列科学问题：1）模型建立层面，如何建立测试报告约简模型，过滤冗余测试报告；2）模型分析方面，如何改善模型在大规模数据处理的性能；3）模型应用层面，如何利用测试报告约简解决与测试报告处理相关的重要软件任务。结合已有研究基础，本项目拟定了切实可行的研究方案，有望显著改进众包测试报告处理过程，拓展软件仓库挖掘研究范畴。

众包测试是一种新兴的软件测试技术，已经引起了学术界和工业界广泛关注。在众包测试中，工人帮助开发者执行测试并提交测试报告，开发者需要对测试报告进行审查和评估。然而，众包测试会产生大量冗余测试报告，严重影响开发者审查效率。近年来，研究者开始关注众包测试报告挖掘，主要目的就是对测试报告进行约简，筛选出能覆盖所有bug的最少数量的高质量测试报告。然而，现有研究仅仅分析了冗余测试报告在任务求解中的影响，并未形成系统的方法约简冗余测试报告。本项目围绕如何挖掘、分析和约简冗余测试报告，凝练出一系列科学问题：1）模型建立层面，如何建立测试报告约简模型，过滤冗余测试报告；2）模型分析方面，如何改善模型在大规模数据处理的性能；3）模型应用层面，如何利用测试报告约简解决与测试报告处理相关的重要软件任务。结合已有研究基础，本项目拟定了切实可行的研究方案，有望显著改进众包测试报告处理过程，拓展软件仓库挖掘研究范畴。本课题严格按照课题申请书和计划书要求，分别对3个层级的科学问题进行了深入研究，圆满完成了预定的研究任务。在本课题支持下，在TR、EMSE、ASOC、FCS、SQJ、ISSRE等期刊会议以发表论文9篇，申请专利6项，其中授权1项。研究成果获得国内外研究专家及学者的肯定。在本课题的资助下，申请人于2021年评上副教授。本课题一共支持了2位博士生，10位硕士生，其中5位硕士生毕业。同时，课题组10人次参加国内外学术会议。在课题的支持下，研究团队的科研水平显著提高，在国内外影响力明显提升。