面向自动驾驶系统的高效物理测试

Nowadays, safety has become the major concern of autonomous driving systems. One important solution is to develop reliable testing techniques. However, the existing techniques suffer from two major problems: efficiency and validity. To tackle these problems, this project proposes a set of efficient physical-world testing techniques for autonomous driving systems to efficiently generate test cases that can be validated in real world. First, this project proposes a modeling technique that models the complex physical environment into the inputs of our testing techniques. Next, based on the adversarial attack theories and the adversarial examples' status, this project proposes static-adversary-based and mobile-adversary-based algorithms to efficiently generate test cases that can maximize the steering angle errors for autonomous driving systems. At last, this project proposes simulations and physical experiments to replicate the simulation-produced test cases to physical environment for evaluating their real-world effectiveness. Accordingly, this project can improve state of the art for autonomous driving testing and provide assurance for testing autonomous driving safety.

安全性能成为自动驾驶领域发展的焦点问题。解决这一问题需要研发可靠的测试技术。当前的自动驾驶系统测试技术主要面临效率与实用性两个问题。本项目着眼于解决这两个问题，提出面向自动驾驶系统的高效物理测试方法，旨在高效的生成可以在真实物理环境中验证的自动驾驶系统测试用例。首先，本项目计划研究如何将复杂的物理环境转变为物理测试输入的建模方法。其次，结合对抗攻击算法的理论依据和对抗样本在自动驾驶环境中的状态，本项目计划分别研究基于静止攻击者和移动攻击者的对抗攻击算法，以高效的生成使得自动驾驶系统方向盘转角偏差最大化的测试用例。最后，本项目计划通过设计仿真实验和物理实验，将仿真实验生成的测试用例复现到物理环境中，以验证测试用例在物理环境下测试结果的有效性，从而提升自动驾驶系统测试的技术水平，为自动驾驶系统安全检测提供可靠保障。

自动驾驶技术已经成为当代科技革命的标志，带动人工智能，软件工程和机械制造等领域技术的革新性发展。然而，当前的自动驾驶系统在安全性能的表现上却不尽如人意。近年来，自动驾驶安全事故屡见不鲜，造成了巨大的社会伦理纷争，严重阻碍了自动驾驶技术的进一步发展。自动驾驶技术是否能在现实世界中得到广泛推广和运用根本取决于其安全性能是否能够得到保障。针对这一问题，可靠的针对自动驾驶系统的测试技术显得尤为关键。然而当前，面向自动驾驶系统的测试技术却面临着两大问题。一是效率问题。在现实世界中，最为直观的保障自动驾驶系统安全性能的方法是尽可能全面的收集路况，扩大自动驾驶系统深度神经网络训练集的数据规模。然而，这样的做法代价过于昂贵。二是实用性问题。先前的自动驾驶安全测试方法无法验证在现实世界中的有效性，也即没有办法验证由这些工作产生的测试用例（路况图像）在现实中是否可能出现。本项目针对当前迅速发展的自动驾驶工业中存在的安全测试效率和现实可用性的问题，旨在研究高效且现实可靠的自动驾驶物理测试方法。最终形成了一批较有影响力的科研成果。其中，形成了一个可以无损的将生成的测试用例复制在路边广告牌的测试方法，基本完成了本项目申请时的任务目标。该方法的提出，首次将虚拟世界设计的测试用例有了在现实世界进行可靠复制的可能。在此基础上，项目负责人进一步推进了对模糊测试基础理论的研究，发现了一系列从工程实践中抽象出探索理论的方法，并进行了充分的实验验证，共发表了四篇相关论文，在业内取得了较为广泛的影响。其中，对于模糊测试中广泛采用的Havoc变异算子选取机制的研究中，项目负责人最终发现光Havoc本身作为模糊策略可以取得比其他经典的模糊测试器在程序边覆盖率上至少好10%的效果。这样的优势在模糊测试中非常显著，这给模糊测试在未来的发展提供了新的思路，即从围绕着Havoc这样的机制出发设计策略。