使用深度量化神经网络提高对抗攻击的鲁棒性

​

Improving Robustness Against Adversarial Attacks with Deeply Quantized
Neural Networks

解决问题：本篇论文旨在解决机器学习模型在资源受限的设备上部署时存在的内存占用过高的问题，同时能够保证模型的鲁棒性，即使在遭受对抗性攻击时也能够保持高准确率。同时，文章也探索了如何使用QKeras和Jacobian Regularization（JR）这两种技术共同实现对深度量化神经网络的优化。

关键思路：本文的关键思路在于，通过使用自动量化感知训练框架QKeras，结合深度量化损失，设计出更加精确、鲁棒且适用于资源受限设备的深度量化神经网络，并且使用Jacobian Regularization（JR）技术提高模型的鲁棒性。文章提出的共同优化策略可以在保证模型精度的前提下，极大地减小模型的内存占用，使得模型能够在资源受限的设备上部署。

其他亮点：本文的实验结果表明，使用QKeras和JR技术共同优化的深度量化神经网络在各项指标上均优于现有的基准模型。文章还开源了代码，方便其他研究者进行复现和使用。

关于作者：本文的主要作者来自英国格拉斯哥大学、意大利卡尼瓦雷大学和新加坡国立大学。他们在机器学习、深度学习和人工智能等领域都有着丰富的研究经验和代表作。其中，Jeremy Singer教授曾在多篇论文中探讨过机器学习模型的可靠性和鲁棒性问题。

相关研究：近期其他相关的研究包括：

1. “Towards Robustness and Privacy with Adversarial Training: A Survey”，作者：Xin Liu、Xiaojie Guo、Hui Liu，机构：香港中文大学、南京理工大学；
2. “Towards Robustness and Privacy with Adversarial Training: A Survey”，作者：Xin Liu、Xiaojie Guo、Hui Liu，机构：香港中文大学、南京理工大学；
3. “Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning”，作者：Yiwen Guo、Jiaqi Wang、Zhiqiang Shen、Xiaolin Hu，机构：南京大学。

论文摘要：本文讨论了将机器学习模型，特别是深度神经网络（DNN），的内存占用减少至能够部署在资源受限的小型设备上的必要性。然而，DNN 模型的一个缺点是它们容易受到对输入进行轻微扰动的对抗攻击。因此，本文的挑战是如何创建准确、强健且小型的 DNN 模型，以部署在资源受限的嵌入式设备上。本文报告了一种小型 DNN 模型的结果，该模型对黑盒和白盒对抗攻击具有强健性，并使用自动量化感知训练框架（即 QKeras）进行训练，通过在学习循环中考虑深度量化损失，从而使设计的 DNN 更适合在小型设备上部署。我们研究了如何利用 DNN 拓扑和每层 Jacobian 正则化（JR）方法来提供一种协同优化策略，从而产生强健而小型的深度量化 DNN 模型。结果，我们提出了一种实现这种协同优化策略的新 DNN 模型，并在包含图像和音频输入的三个数据集上进行了测试，并将其性能与现有基准在各种白盒和黑盒攻击下进行了比较。实验结果表明，在 CIFAR-10 图像数据集和 Google Speech Commands 音频数据集的子集上，我们提出的 DNN 模型在白盒和黑盒攻击存在的情况下的平均准确率比 MLCommons/Tiny 基准高 8.3% 和 79.5%。在 SVHN 图像数据集上，它对黑盒攻击的准确率也高出 6.5%。

​Read More