面向黑盒模型的图像识别对抗技术研究

The attack on image recognition system can lead to misclassification and is the serious threat to autopilot, pattern recognition, satellite remote sensing et al. It is essential for the security of application in related areas to understand the adversarial technologies and theories. But the research on generation of adversarial examples, the recognition functions and the measurement of attack effect are very insufficient. In this project, the adversarial methods against image recognition system under black-box model will be explored to promote the adversarial example generation, substitute model construction and adversarial example filtering. The main research contents include: (1) Take advantage of image segmentation technology to find the critical region for classifier and then generate adversarial example via critical region so as to reduce perturbation and improve the production efficiency. (2) Resist the query constraint defense by reducing the query times via the top confidence difference of labels and Jacobian-based dataset augmentation. (3) Measure the transferability by the differences of label confidence vector and filter out the adversarial examples with high transferability by K-means clustering analysis via setting up the multi model system to enhance the attack effect to black-box. The achievements of this project will construct the whole adversarial approach and can expand the generation theories of adversarial examples and technologies of substitute model and will promote the safe operation ability in the adversarial environment.

针对图像识别系统的攻击，会造成分类器错分，对自动驾驶、模式识别、卫星遥感等应用形成严重威胁，掌握对抗手段和理论对促进相关领域的安全应用具有重要价值。但对抗样本生成、模型作用机制和对抗效果度量尚缺乏深入研究。本项目将以面向黑盒模型的图像识别对抗技术为研究对象，针对对抗样本生成、替代模型构建和对抗样本筛选技术进行研究。主要研究内容包括：（1）利用图像分割技术定位影响分类器决策的关键区域，在此基础上生成对抗样本，减小扰动并提高对抗样本生成效率。（2）通过高置信度差值标签取样和雅克比数据增广，减少查询次数，对抗查询敏感防御技术。（3）构建多模型融合系统，利用标签置信度向量差值对可转移性进行度量，利用K均值聚类分析筛选高可转移性对抗样本，增强对黑盒模型攻击效果。本项目将构建完整的对抗流程，拓展对抗样本生成理论和替代模型构建思路，并为促进对抗环境中系统安全运行提供有益借鉴。

当前以深度学习模型为代表的神经网络已经进入大众生活的方方面面，在图像分类和目标检测中更是核心支撑技术，广泛应用于自动驾驶、远程支付、人脸识别、军事目标检测等领域。但神经网络模型有其固有的脆弱性，在图像分类中具体表现为，攻击者在图片中仅需添加少量扰动，在视觉效果没有明显差异的情况下，就可以造成图像错分或目标丢失，这种攻击会引发严重后果。因此如何提高神经网络模型的鲁棒性和安全型，是一个亟待解决的重大问题。世界各主要国家都越来越重视人工智能中的对抗和防御技术，深入掌握图像分类对抗技术，可以在未来的攻防博弈中处于主动地位。通过研究黑盒场景中对抗样本的攻击原理、生成过程、扰动控制技术、转移性方法，并在完整的攻击链路上探究强对抗样本的本质特征，可以全面提升神经网络模型的防御强度。本项目从查询次数敏感环境中的决策边界探测技术、低噪声对抗样本生成技术、高可转移性对抗样本分析技术等方面，全面探索了对抗样本的基本机理，设计了从实验室黑盒模型到线上商业深度模型的多层次攻击手段。在研究过程中，形成了基于离散余弦变换的对抗样本生成方法、跨任务黑盒对抗样本生成技术、基于进化算法和二分算法的黑盒攻击方法、黑盒模型下基于粒子群优化的对抗样本生成方法、基于决策边界的对抗样本生成方法等众多创新技术。研究内容形成了包括CCF A类会议和中科院TOP期刊在内的16篇高水平学术论文，以及已获授权的7项发明专利，并且还有若干学术论文被包括IEEE Trans在内的中科院一区TOP期刊录用待发表。本项目的研究，形成了多个对抗样本生成原型系统。通过本项目研究得到的高效黑盒攻击方法以及相关数据，能够为对抗样本的本质研究提供极有价值的借鉴和参考，可以为促进计算机视觉领域深度学习模型健壮性、安全性的提高和理论发展做出重要贡献。