后门准确率降至3%，主任务性能几乎不变！华工JHU提出全新「联邦学习后门攻击识别」解决方案｜ICCV2023

  新智元报道  

编辑：LRS

【新智元导读】无惧联邦学习中的后门攻击！全新解决方案利用多指标和动态加权来自适应地识别后门，在难度最高的Edge-case PGD中，后门准确率仅为3.06%。

由于难以被服务器端的防御方法识别，Edge-case PGD攻击目前已经给联邦学习带来巨大的威胁。
诸如FLAME，Foolsgold等SOTA模型，可以在CIFAR-10数据集上实现高达60%的后门攻击成功率。
最近，华南理工大学AI安全团队联合约翰斯·霍普金斯大学提出了一种抵御联邦学习中后门攻击的新方法，并已被ICCV 2023收录。

论文地址：http://arxiv.org/abs/2303.06601

开源代码：https://github.com/siquanhuang/Multi-metrics_against_backdoors_in_FL

研究在缓解「维度诅咒」的基础上，提出了一种Multi-metrics的动态框架，以强大的后门识别能力将Edge-case PGD攻击的后门准确率降低至惊人3.06%，并且保持着几乎不变的主任务准确率84%，大大提高了联邦学习框架的鲁棒性。

简介

联邦学习（FL）的分散性和隐私保护性使其很容易受到后门攻击，这些攻击的目的是在对手选择的特定输入上操纵生成模型的行为。

然而，大多数基于统计差异的防御措施只能对特定攻击有效，尤其是当恶意梯度与良性梯度相似或数据高度非独立且同分布（非IID）时。研究人员在重新审视了基于距离的防御方法后发现：1. 欧氏距离在高维度下是毫无意义的；2. 具有不同特征的恶意梯度无法利用单一的指标进行识别。为此，研究人员提出了一种简单而有效的防御策略，利用多指标和动态加权来自适应地识别后门。同时，这种新型防御方法不依赖于对攻击设置或数据分布的预定义假设，对良性性能的影响也很小。为了评估方法的有效性，研究人员在各种攻击设置下的不同数据集上进行了综合实验，并取得了最佳防御性能。例如，在难度最高的Edge-case PGD下，后门准确率最低，仅为3.06%，与以往的防御方法相比优势明显。

实验还证明，研究人员提出的方法可以很好地适应各种非IID度，而不会牺牲良性性能。

方法

曼哈顿距离缓解维度诅咒

Theorem1为维度诅咒效应的公式，随着维度d的上升，距离指标将会逐渐丧失意义。虽然无法彻底解决维度诅咒带来的问题，根据理论证明，研究人员表示曼哈顿距离在高维空间中的识别能力要远远好于常用的欧式距离，可以缓解维度诅咒效应。

Multi-metrics 框架

即便曼哈顿距离有着更好的识别效力，但研究人员并不认为在识别后门攻击时，曼哈顿就能完全替代欧氏距离。

除此以外，先前的工作已经表明，有的后门攻击会在欧氏距离上表现区分度，有的则会在余弦相似度（Cos距离）上表现差异。于是研究人员决定采用曼哈顿、欧氏和Cos距离共同去识别后门，如上图所示。在定义好了识别梯度时的指标之后，还有两个障碍：1. 三种距离有着不同的尺度，由于每个度量都是相关的，因此需要一种新的正则化方法，而不是通常的按最大值进行归一化；2. 不同的数据分布（如不同程度的非IID）会使恶意客户端和良性客户端的梯度不同。因此，需要动态加权来应对各种环境和攻击，以实现通用防御。为了解决上述问题，研究人员提出了一种通过浓度矩阵（协方差矩阵的逆）进行白化的方法如上图所示，其中为客户端距离特征向量，为协方差矩阵。其能够根据每个客户端上三个指标特征的分布动态地决定每个指标的权重，以适应不同的数据分布情况和攻击策略。在得到了客户端的距离得分后，便可以根据该分数聚合更优梯度。

结果

与其他防御比较起来，研究人员提出的方法展现出了巨大的优势，尤其是在面对隐形后门Edge-case PGD，只有这种方法和Flame可以对其有效的防御。

其中Flame还会伴随着主任务性能的明显下降，而新方法几乎没有这种损失。

从训练曲线上看，研究人员提出的方法也有着独树一帜的效果。

此外，研究人员也通过充分的消融实验说明了新方法的有效性。

上图展示了在不同攻击场景下，起主导作用（权重最大）的距离特征的频率。可以看到，在面对不同攻击时，方法分给每个特征的权重是不同的。

换句话说就是，在面对模型替换攻击时（欧氏距离放大），由于攻击梯度在欧式距离上最明显，则会加大欧式距离的权重。而在面对PGD攻击时（欧式距离缩小），欧式距离上攻击梯度与其他良性梯度更相似，则其权重最小。总结而言，研究人员提出的方法能够在任何情况下，针对不同特征的攻击动态调整各个特征的权重，并给出最合适的加权方案。从而应对各种隐形后门攻击，为联邦学习的安全防护提供有力保障。参考资料：http://arxiv.org/abs/2303.06601