软件测试和调试过程中的测试用例演化技术研究

Test case evolution is an important part of software testing and debugging during software evolution. To research the test case evolution techniques during software testing phase, we firstly want to research on software modeling techniques, which are based on source code and related artifacts, supporting test case high-quality evolution for large-scale applications. Then we conduct dependence analysis hierarchically and therefore design a change-aware coverage criterion. Secondly we want to propose test suite optimization techniques based on multi-objective optimization and expert knowledge. Thirdly we want to propose a test suite augmentation approach integrating evolutionary testing and dynamic symbolic execution and then use mutation testing analysis to evaluate and improve the change-aware test adequacy of the evolved test suite. Finally we want to design a uniform cost-benefit model to analyze the cost-benefit of our proposed solutions. To research on test case evolution techniques during software debugging phase, we want to reduce the program statements needed to be inspected by change impact analysis and dynamic program slicing. In addition, we want to design test case evolution techniques to improve the effectiveness of the fault localization. The objective of this application is to develop a set of eclipse plugins base on the above solutions and eventually improve the effectiveness of software testing and debugging by integrating these plugins and the integrated development environment of developers.

测试用例演化是软件演化过程中辅助软件测试和软件调试的重要环节。在面向软件测试过程中的测试用例演化技术研究中，首先针对源代码和相关制品，研究支持测试用例高质量演化的面向大型应用程序的建模技术，同时基于分层思想进行依赖性分析并设计基于代码修改的测试覆盖准则，其次研究基于多目标优化和融合专家知识的测试用例优化技术。然后研究融合演化测试和动态符号执行的测试用例集扩充技术，并借助变异测试分析来评估并提高测试用例集对代码修改的测试充分性。最后设计通用成本收益模型对上述研究成果进行成本收益分析。在面向软件调试过程中的测试用例演化技术研究中，通过代码修改影响分析和动态程序切片技术来缩减需要审查的程序语句集，同时以提高缺陷定位效果为优化目标来设计测试用例演化技术。最终基于上述解决方案开发出一系列Eclipse插件，完成与开发人员集成开发环境的有效整合从而提高软件测试和调试的效率。

以高质量测试用例集演化为切入点，通过深入挖掘和分析软件历史仓库、配套测试用例集和项目源代码，对软件测试和调试过程中的重要问题展开了一系列深入研究。具体来说：（1）通过对软件缺陷预测问题的研究，有助于更为精准的预先识别出项目内的缺陷程序模块，从而指导测试用例集演化，以确保对这些程序模块的充分测试。在项目的执行期间，课题组对缺陷预测数据集中的特征选择、类不平衡问题以及噪音问题等进行了深入研究，首先提出了一种基于聚类分析的特征选择框架FECAR，可以有效识别并移除数据集中的无关特征和冗余特征。随后提出一种两阶段数据预处理方法可以进一步缓解数据集内存在的类不平衡问题。最后设计出一种可容忍噪声的特征选择框架。基于Eclipse和NASA等实际项目的实证研究验证了上述方法的有效性，并对方法的使用提供了一系列使用指南。（2）已有研究表明，通过搜集高质量测试用例的程序频谱和执行结果，可以提高缺陷定位的效果。即有助于开发人员减少需要审查的代码量，以确保可以及时找到缺陷语句并进行缺陷修复。在项目的执行期间，课题组从程序频谱构造方式和缺陷数量这两个影响因素入手，展开了深入的研究。具体来说，首先基于程序切片提出了HSFal方法，通过计算全切片和执行切片并构造混合切片谱以提高缺陷定位效率，并对构建混合切片谱的切片选择策略和怀疑论计算公式的选择进行了深入分析。随后针对被测程序内可能存在多个缺陷的问题，提出一种基于遗传算法的多缺陷定位方法框架GAMFal。最后提出了一种基于程序谱概念格的软件缺陷定位方法和基于多变量Logistic模型的缺陷定位方法。基于大规模程序的实证研究验证了上述缺陷定位方法的有效性。（3）为提高回归测试中的缺陷检测效率，课题组从分析代码修改角度入手，提出了合理的测试用例演化框架，从而可以针对修改后的程序生成高质量的测试用例集。该框架包括如下测试用例维护行为：无效测试用例的识别、测试用例选择、测试用例修复、测试用例集扩充、测试用例集缩减和测试用例优先级排序。除此之外，课题组认为代码修改的特征与测试用例的缺陷检查概率存在一定的相关性，因此提出一种基于分类方法的测试用例优先级排序方法并对其有效性进行了验证。针对上述这三个问题的深入研究以及期间取得的研究成果，有助于测试部门合理分配测试资源，并最终提高软件产品的质量，因此具有一定的理论意义和实践价值。