面向无人驾驶的对抗样本攻击与防御方法研究

Autonomous driving techniques got brilliant breakthrough and was brought to the center of academia, thanks to the rapid development of artificial intelligence, the supporting technique of autonomous driving. Nonetheless, the passengers could be killed in blinking of eyes once an autonomous vehicle is taken over by an attacker, indicating the importance of security for autonomous driving systems. Recent research showed that artificial intelligence models can be fooled by adversarial examples worked out by attackers, but the models employed by autonomous driving systems are not specially taken care of, implying serious threatens. ..We propose that it is significant to find out the possible means to inject adversarial examples to autonomous driving systems, and the methods to generate adversarial examples for autonomous driving systems, to reveal the threaten resulted from adversarial learning attacks. Besides, it is also important to devise methods to detect attacks with adversarial examples on autonomous vehicles, aiming at constructing defense systems to strengthen autonomous driving systems’ capability of coping with intentional attacks. What’s more, a prototype of defense should be provided to manufactures to prevent attackers from exploiting the weakness to killing people onboard, making autonomous driving a safer technique for its large scale deployment.

无人驾驶技术因为人工智能的飞速发展取得了突破，并被再一次推向了风口浪尖。然而如若装备了无人驾驶技术的汽车被攻击并被控制，攻击者就可以瞬间夺去车上乘员的生命，可见安全对于无人驾驶系统的重要性。近期的研究表明人工智能模型可以被攻击者生成的对抗样本误导，然而现有的无人驾驶系统使用了大量的人工智能模型但并没有因此对用到的模型加以特殊防护，预示着其存在严重的安全威胁。..所以，我们提出需要摸清无人驾驶系统上注入对抗样本的手段、针对无人驾驶系统采用的模型生成对抗样本的方法，以揭示对抗样本攻击对无人驾驶系统的威胁。并据此设计出有效的为无人驾驶系统实时检测对抗样本攻击的方法，构建相应的防御技术用来加强无人驾驶系统抵御人为攻击的能力，为无人驾驶技术厂商提供防御技术原型，防止未来无人驾驶技术大规模应用时其人工智能模型的弱点被攻击者利用来危害使用者的生命安全，使无人驾驶成为一种更安全的技术。

无人驾驶技术已经逐渐在多个国内外产品上批量生产，针对无人驾驶技术的对抗样本攻击原型也已经被物理实现。本项目研究的无人驾驶平台上的对抗样本攻击关键技术与防御关键技术也已经在生产环境中实现原型，可见其对广大人民群众的生命财产安全的确可以带来威胁。为了厘清针对无人车对抗样本的攻击面，提出好的针对性的防御对策，本项目从对抗样本挂载点、挂载渠道、生成算法等方面全面分析了针对无人驾驶车的对抗样本生成关键技术，并提出了若干防御措施。.挂载点方面，本项目研究了针对无人驾驶车LPR系统的对抗样本攻击，即RoLMA系统，实现了以89%的成功率定向破坏LPR系统，或者99%的非定向破坏；从挂载渠道角度，本项目设计了ColPer系统，分析了无人驾驶系统用到的点云输入的多种攻击渠道，发现颜色通道的攻击成功率远远高于点云的距离通道，并展示了在ColPer算法下，攻击成功率可以从10%以内提升到90%；从攻击算法角度，本项目研究了一系列云端攻击模型还原和数据还原的方法，以应对对抗样本攻击需要目标模型的挑战。根据我们在LeakyDNN的研究结果，常用车载计算机视觉模型结构可以被高精度还原，平均错误率只在14%左右，极大降低了对抗样本攻击的门槛；而根据项目提出的embRev和erGan，模型的图像输入可以几乎被100%还原。项目还研究了在车端-云端协同环境下的一系列AI模型结构、数据泄露问题。.防御方面，项目从各个维度均提出了防御策略。从挂载点的角度，无人驾驶系统需要添加去噪系统，将对抗扰动在源头去除；从挂载渠道角度，车载AI模型需要添加鲁棒惩罚因子，防止非主要通道影响判决；从云端的角度，可将AI模型的训练与推断过程隔离在可信容器中。上述措施共同生效可大大提升无人驾驶系统对于对抗样本的免疫能力。