阅读量:0
这篇文章是2024年发表在《Computers & Security》上的关于FL中的客户端-服务器攻击与防御综述。以下是自己的重点总结
论文链接：《A review on client-server attacks and defenses in federated learning
文章目录
摘要
联邦学习 (FL) 提供去中心化机器学习 (ML) 功能，同时可以保护数据隐私。 然而，这种架构带来了独特的安全挑战。本文对这些挑战进行了全面调查，根据目标对攻击进行分类：客户端训练数据、本地模型、FL 通道、服务器端聚合参数和全局模型。我们进一步讨论为本地和全局模型量身定制的防御机制。 通过我们的调查，我们阐明了 FL 固有的漏洞，并提供了确保鲁棒性的对策的见解。我们的研究结果强调了双重重点策略的重要性，即解决客户端和服务器级别的安全问题。
1 引言
主要工作：
- 我们对FL中的攻击进行了详细而全面的分类，区分了客户端和服务器端目标。
- 我们深入研究每种已识别的攻击类型，阐明其方法、潜在影响以及它在现实世界的 FL 系统中带来的挑战。
- 我们提供了实施安全措施的系统指南，强调分层防御策略，解决 FL 中客户端和服务器级别的漏洞。
- 我们强调双重战略的必要性，展示了保护 FL 中客户端和服务器端组件的相互交织的挑战和好处。
- 我们通过提供关于 FL 安全性的综合资源、综合最新研究并以适合新手和专家的可访问格式呈现，来弥补当前文献中的空白。
对 FL 范式中的攻击和防御进行细致的分类。 认识到漏洞和威胁在 FL 生态系统中的分布并不均匀，我们根据具体目标对它们进行了细分：客户端，包括训练数据、本地模型和 FL 通道本身，以及服务器端，重点关注聚合参数或梯度 以及总体的全局模型。 同样，我们的防御策略经过定制，可以保护客户端的本地模型和服务器端的全局模型。
1.1 研究问题
FL 中的客户端：
- 攻击者如何利用或毒害 FL 设置中各个客户端的训练数据来破坏全局模型，此类攻击对现实世界有何影响？
- FL 的去中心化性质如何影响本地模型对对抗性攻击的敏感性，以及在这种情况下哪种类型的攻击最有效？
- FL 客户端更新过程中有哪些可供攻击者利用的关键漏洞，以及如何在实际应用中解决这些漏洞？
- FL 如何用于秘密通信，这些类型的攻击会产生哪些后果，以及哪些实际场景使 FL 特别容易受到此类滥用？
FL 中的服务器端：
- 攻击者如何在 FL 的模型聚合阶段操纵或窃听聚合的更新或梯度，以及哪些现实场景使服务器端更容易受到这些攻击？
- FL 中的受感染服务器会带来哪些风险，特别是涉及全局模型的完整性，以及在实践中哪些措施可以有效减轻这些风险？
- 攻击者如何利用 FL 系统中的恶意客户端来影响全局模型，以及哪些策略可以识别和应对此类协同攻击？
FL 中的防御：
- 在 FL 系统中检测或减轻来自恶意客户端的有毒更新的最有效策略是什么？哪些策略在特定的现实场景中最有希望？
- FL 服务器如何确保从客户端接收到的更新的完整性和真实性，以及这些防御机制对各种应用领域有何影响？
- 哪些防御机制可以有效保护客户数据隐私，同时仍对全局模型做出贡献？这些防御机制在有效性和实用性方面与传统集中式学习防御相比如何？
比较分析：
- 在 FL 的背景下，哪个群体更容易受到攻击：客户端组件还是服务器端组件？哪些因素导致这种易感性？
- 考虑到 FL 的独特挑战，传统的集中式学习防御与 FL 环境中所需的防御相比如何，特别是在解决特定的现实威胁方面？
- 可以提出哪些未来的研究方向和客观见解来增强对 FL 安全性的理解和有效性，特别是在确定针对双方最有效的攻击的最有效的防御技术方面？
1.2 FL背景
FL学习步骤：
- 初始化：选择要训练的ML模型架构。 设置模型的参数。
- 客户端选择：选择一组客户端（去中心化设备）参与FL过程。 这些客户负责在本地训练模型。
- 模型分发：将初始模型分发给已选定的客户。 此阶段至关重要，因为它确保所有客户端都以相同的模型状态开始训练过程。
- 本地模型训练：每个选定的客户都使用其本地数据来进一步训练模型。 这需要计算相对于本地数据的梯度并改变模型的参数。 本地训练过程中可以使用各种优化方法，例如随机梯度下降（SGD）。
- 模型更新的聚合：在本地训练之后，必须聚合所有参与客户的模型更新（梯度）。
- 重复步骤2至4：执行步骤2至5，直到模型收敛或满足预定的停止阈值。
- 评估：为了跟踪进度，定期在验证数据集上评估全局模型的性能。
- 部署：当FL过程完成后，训练好的全局模型可以用来对新数据进行推理。
FL分类：
- 水平 FL：这是最常见的场景（Yang et al., 2019），其中多个客户端拥有来自不同用户的数据样本，但数据保留在相同的特征空间中。当多个组织拥有不同的用户数据但相似的数据类型时，经常会出现这种情况。例如，两个卫生机构可能拥有来自不同人群的患者数据。
- 垂直 FL：在这种更复杂的设置中（Cheng 等人，2020），多个客户端具有重叠的数据，但每个客户端都有自己的一组功能。如果我们考虑用户的在线行为，一家公司可能有他们的浏览历史记录，而另一家公司可能有他们的购买信息。
- 联合迁移学习：经典机器学习中的迁移学习涉及对一项工作（源域）上的预训练模型进行微调，以执行另一项通常相关的任务。目标是利用源领域的大数据来帮助数据较少的目标领域的学习。联合迁移学习（Liu et al., 2020a）将此概念应用于联合环境。 为了避免数据分布不平衡或稀缺性，联合迁移学习用于将知识从数据较多的领域迁移到数据较少的领域。
1.3相关工作
无线联邦学习 (WFL) 中的后门攻击（Wan 等人，2023）
分类为数据和模型中毒类型，并非常注重细节。 这项研究广泛地研究了这些攻击所表现出的复杂性和隐蔽性，仔细审查了多个阶段，包括初始数据收集、模型聚合以及对不同防御策略有效性的评估。 它强调在 WFL 中使用非 IID 数据来进一步实施这些攻击，强调了能够抵御这些网络的动态和分布式特征的适应性防御机制的重要性。
梁加等人(2023)的注意力发生了转移。
FL 客户端存在的漏洞，特别强调与数据和模型中毒相关的复杂性。 这项调查强调了理解受损模型或有毒数据可能严重阻碍学习过程、导致错误或偏见结论的方式的关键性质。
Mothukuri 等人(2021)扩展了这个主题。
通过涵盖广泛的攻击向量和相应的防御机制。 本文探讨了 FL 中安全和隐私的复杂问题。它研究了各种攻击向量（包括中毒和推理）如何需要不同的防御策略，包括安全聚合协议和增强的隐私保护技术。
Sikandar 等人（2023）提供了全面的分析。
各种攻击向量，例如模型反转、规避和复杂的后门攻击。 这项调查对差分隐私和对抗训练等对策进行了批判性分析，以评估它们在防御这些复杂攻击策略方面的功效。
Chen 等人（2023）检查了 FL 系统的弹性和完整性。
本研究探讨了一系列攻击向量和对策，为加强 FL 对抗对抗性操纵的可信度和鲁棒性的关键作用提供了宝贵的视角。
Nair 等（2023）提供了对抗性攻击的详尽分类。
罗德里格斯·巴罗佐等人(2023)，涵盖客户端和服务器端的各种潜在漏洞。
这些调查根据攻击的特征、目标和对 FL 生态系统的影响对攻击进行分类，对 FL 的潜在安全挑战进行了全面分析。
戈塞林等人(2022) 通过研究保护隐私的最先进方法。
包括同态加密、安全多方计算和差分隐私，提出了创新的观点。 本文探讨了各种安全攻击及其相应的解决方案，例如复杂的中毒和拜占庭攻击。 此外，它还深入研究了由于 FL 中通信和数据的异构性而出现的独特障碍。通过对不同的通信高效机制进行检查并提出异质性的可能解决方案，本次调查有助于集体理解 FL 系统中隐私、安全和效率之间复杂的相互作用。 它通过检查FL安全和隐私动态领域内的潜在障碍和可能的研究途径，为正在进行的讨论做出了贡献。
2 安全威胁及对策概述
表 1 和表 2 高度概述了 FL 框架中的各种威胁和相应的对策
3 客户端和服务端的攻击
- 客户端攻击：客户端成为损害其数据或模型的攻击目标，即客户端被攻击。
- 服务器端攻击：作为FL中心聚合点的服务器成为攻击目标，即服务端被攻击。
- 有针对性的攻击：旨在操纵全局模型，使其在特定条件或输入下表现错误，但不一定影响其整体性能。
- 无针对性的攻击：试图广泛降低模型在所有任务中的性能或阻碍其有效收敛。
- 一个值得注意的例子是利用 FL通道进行秘密通信，最初被归类为客户端攻击，但本质上涉及客户端和服务器，在本文中还是把FL通道列为了客户端攻击类别。
- 客户端的主要漏洞：本地化模型和原始训练数据。
- 服务端的主要漏洞：聚合参数或梯度。
3.1 客户端攻击
客户端攻击可以根据攻击重点细分：训练数据、本地模型和FL通道
3.1.1 训练数据
数据中毒攻击：意味着对手引入或操纵数据来破坏学习过程。通过提供欺骗性数据，攻击者可以尝试在特定方向影响全局模型。数据中毒攻击大致可分为后门攻击、干净标签攻击和脏标签攻击。
1. 后门攻击
狡猾的策略巧妙地操纵了学习过程，导致模型在大多数情况下正常运行，但在被攻击者选择的特定输入激活时表现出恶意行为。这些攻击的隐蔽性和针对性特征使其异常危险，这些方法可能包括将损坏的数据引入训练集中或修改本地模型更新。
攻击有两种类型：集中式攻击和协调式攻击。当单个实体引入触发器时，就会发生集中攻击；协调攻击涉及多个攻击者共同插入触发器的各个部分。
2. 干净标签攻击
巧妙地改变了数据（不改变标签），就像向数据添加噪声一样，改变后的样本在用于训练时会在模型中产生意外的行为。例如，在图像分类任务中，攻击者可以对猫的图像进行几乎难以察觉的更改（同时保留“猫”标签）。防范清洁标签攻击的问题在于，数据样本看起来真实且标记准确，这使得它们很难在整个数据验证过程中被过滤掉。
3. 脏标签攻击
脏标签攻击也称为标签翻转攻击，涉及对手故意错误标记数据样本，例如，狗的图像可能被错误地标记为猫。当这些错误标记的数据用于训练过程时，模型会变得混乱，导致预测不太准确。攻击的主要困难在于其简单性。攻击者可以通过错误标记现有数据来实现其目标，而不是制作复杂的恶意样本。然而，脏标签攻击通常比干净标签攻击更容易检测和防御，因为数据验证技术可以识别数据样本与其标签之间的不一致。
3.1.2 本地模型
从模型中毒攻击和拜占庭攻击出发，说明了针对本地模型的攻击造成的影响。
模型中毒攻击：除了数据之外，针对特定客户端训练的本地模型也可能是漏洞的来源。恶意客户端可以构建或修改其本地模型，以便与其他模型结合时，生成的全局模型会表现出意外的行为。一些常见的模型中毒的方法：后门攻击、符号翻转攻击、搭便车攻击、目标函数改变攻击、模型替换攻击、附加噪声攻击、基于优化的攻击、梯度翻转攻击、模型翻转攻击、模型所有权攻击。
1. 后门攻击
是FL的一个重大威胁，它涉及改变模型权重以引入隐藏功能，影响特定任务的输出，同时保持整体模型的准确性。通过操纵受感染参与者的训练数据和模型权重，超越了传统的数据中毒。
2. 符号翻转攻击
攻击者改变他们提交给服务器的模型参数更新的符号，通过扭转这些更新的方向，攻击者希望抵消良性客户端的贡献，从而阻碍模型的收敛或导致其收敛到次优解决方案。
例如，如果来自良性客户端的特定权重更新是正的，表明该权重的值增加，恶意客户端可以以相同的权重传输同等大小的负更新，从而有效地抵消良性更新。这可能会在多轮训练过程中显着降低全局模型的效率。
3. 搭便车攻击
搭便车者也被称为拜占庭工人，是恶意客户端，它们本质上不会为全局模型贡献有用的更新。他们依靠其他参与者来进行大部分训练，主要目标是获得 FL 系统的好处，而不做出任何真正的贡献，在某些情况下，搭便车者还可能传输随机或任意的模型更新，从而给聚合过程增加噪音，并可能阻碍全局模型的性能。
4. 目标函数改变攻击
恶意客户端修改其局部目标函数以误导全局模型训练。对手不是使用预期的损失函数来训练本地模型，而是采用修改后的或完全不同的损失函数。当服务器聚合这些更新时，全局模型会受到此修改后的目标的影响，这可能会导致意外的行为或漏洞。
5. 模型替换攻击
一种允许对手操纵全局模型更新过程的技术。这次攻击是有针对性的攻击。攻击者尝试在第（k+1）次迭代期间用恶意模型替换全局模型。当全局模型接近收敛时，就会执行此操作。模型替换攻击的本质是上传一个本地模型，该模型旨在替换传入的全局模型版本。需要替换的局部模型是根据恶意模型与现有全局模型之间的差异计算出来的，并通过一定的因子进行修正，然后添加回当前的全局模型中。然后在更新过程中使用生成的本地模型替换全局模型，将恶意模型带入系统。
6. 附加噪声攻击
攻击者在此次攻击的模型更新中使用随机噪声。虽然每个噪声更新可能看起来是良性的，但在多轮训练中此类更新的累积效应可能会严重降低全局模型的性能，使其成为无目标的攻击。引入的噪声可能会阻碍收敛，导致解决方案不佳，或者提供可在后续攻击中利用的漏洞。
7. 基于优化的攻击
攻击者秘密地将对抗性特征嵌入到神经网络的冗余神经元中。攻击者使用干净数据集和中毒数据集的组合，通过交替最小化来完善主要任务和对抗性任务。这确保了全局模型在其核心目的上保持有效，同时持续嵌入毒药。攻击的目的是在全局模型中造成特定的错误分类，而不损害整体性能，从而使其难以检测。建议的方法利用先进的优化技术，目标是实现隐蔽性、持久性和针对潜在防御的有效性。
8. 梯度反转攻击
可以发生在客户端和服务器端。 当在客户端实现时，梯度反转攻击主要针对客户端在 FL 中提供的梯度信息系统。客户端根据本地数据生成梯度并将其发送到中央服务器以在此类系统中进行模型聚合。这些来自另一个客户端的共享梯度可能会被客户端的恶意客户端或攻击者拦截。然后，攻击者训练一个辅助模型，旨在使用这些截获的梯度生成或重新创建数据。目标是调整这个辅助模型，使其输出与主模型处理时截取的梯度紧密一致。攻击者希望通过此迭代过程生成类似于或推断目标客户端原始数据细节的数据样本。
9. 模型反转攻击
客户端模型反转攻击试图通过观察模型输出来推断或重建来自另一个客户端的输入数据。攻击者通过查询具有不同输入的模型并观察伴随的输出，迭代地改变这些输入，以推断原始数据的某些特征或属性，基本思想是基于使用模型的预测来访问另一个客户端的数据。
10.模型所有权攻击
提出了一种新颖的模型所有权剥夺攻击（MODA）（2023b）在FL的背景下。此次攻击由 FL 系统内部对手发起，其目的是撤销其他参与者的模型所有权，从而使攻击者能够不公正地将模型所有权视为其知识产权。
拜占庭攻击：涉及联邦网络中的恶意节点，这些节点在训练过程正在进行时故意传输模型更新或虚假或损坏的数据，目的是破坏聚合的全局模型**。通过操纵学习过程，这种欺骗可能会严重削弱区分真实更新和恶意更新的能力，从而损害聚合全局模型的可靠性和精度。
数据中毒攻击、模型中毒攻击和拜占庭攻击的区别：
数据中毒攻击以训练数据集的损坏为中心。 在这些攻击中，恶意客户端将误导性或不正确的数据插入数据集中，导致模型获取错误的模式和行为。
模型中毒攻击旨在通过在训练阶段秘密引入漏洞或后门来损害学习算法本身。 与一般意义上扰乱学习过程的拜占庭攻击相反，模型中毒旨在引入可在特定情况下利用的特定漏洞。
3.1.3 FL通道
利用 FL 的内在品质来实现秘密数据交换，从而对系统的整体完整性和安全性构成独特的威胁。
通过操纵 FL 过程来实现的，其中参与者轻轻地修改模型参数或训练数据，以在常规 FL 工作流程中编码和传输隐藏信号。
3.2 关于客户端攻击的见解
所描述的许多客户端漏洞凸显了确保 FL 系统安全的复杂困难。为了应对这些风险，有必要采取综合策略，将改进的隐私协议和持续监控相结合。采用这种方法对于防范 FL 中不断变化的威胁范围、保证这些分布式学习系统的真实性和可靠性至关重要。
3.3 服务器攻击
服务器攻击根据攻击目标分为：聚合参数/梯度和全局模型。
3.3.1 聚合参数/梯度
聚合参数/梯度是指攻击者破坏聚合阶段的各种方式，涉及梯度反转、GAN重建、成员推理、属性推断。
1. 梯度反转
服务器上的攻击者可以访问每个客户端发送的梯度。 攻击者以类似于客户端攻击的方式使用这些梯度：训练辅助模型，目的是从聚合梯度中复制或推断原始数据。
服务器端和客户端梯度反转攻击之间的主要区别在于执行攻击的点和暴露的数据类型。攻击是在服务器端的聚合点组织的，可能会暴露所有参与客户端的数据。 另一方面，客户端攻击集中于拦截来自特定客户端的数据，限制攻击可以重新创建或推断的数据范围。
2. GAN重建
服务器使用 GAN 通过区分客户端的身份来秘密重建客户端级别的样本，服务器可以使用 GAN 对数据进行逆向工程，以恢复相应的私有数据。FL 参与的动态特性（以客户端不断进入和退出系统为特征）可能会危及 GAN 攻击的成功。 当客户端数据不均匀传播（非 IID）时，这个问题会更加严重。
3. 成员推理
攻击者试图确定某个数据样本是否是客户端本地训练集的一部分，攻击有两种类型：被动攻击和主动攻击。
被动成员推理攻击：攻击者仅观察聚合模型更新，而不会干扰 FL 训练过程。 他们分析这些更新以获取有关所有参与者的集体训练数据集的信息。 一种流行的方法是创建一个模仿目标模型行为的“影子模型”，使攻击者能够深入了解模型所训练的数据。
主动成员推理攻击：更具攻击性，因为攻击者不仅观察而且实际上将对抗性模型更新插入系统中。 该方法可以对指定的目标训练数据进行更强大的推理攻击。
4. 属性推断
可以在不直接访问客户端数据的情况下推断出该数据的特定特征或特性。属性推断攻击可以是主动的，也可以是被动的。
被动攻击者使用类似于参与者数据分布的辅助数据来训练分类器来推断这些未知属性，该辅助数据被标记为主要任务以及未知属性；
主动攻击者可能会偏离核心任务的协议。目标是通过修改模型更新来识别具有某些特征的人，从而根据某些特征的存在或不存在来隔离数据
3.3.2 全局模型
全局模型的漏洞及其面临的威胁，全局模型攻击涉及模型提取、窃听。
1. 模型提取
模型提取攻击，也称为模型窃取，是指攻击者尝试仅依赖目标 ML 模型的输出来重新创建或模仿目标 ML 模型，并避免直接访问模型或训练的内部参数的策略数据
2. 窃听
窃听是一种被动攻击，对手拦截并监视客户端与中央服务器的交互。 此类攻击的基本目标是从这些连接中提取信息而不修改数据，窃听使攻击者能够推断有关客户端数据和 FL 系统活动的敏感信息。他们可以通过经常利用网络层或通信协议来收集通信来记录和分析 FL 设置中交换的消息。通常，这些消息包含模型更新、梯度或其他有用信息。
3.4 关于服务器攻击的见解
总而言之，服务器端攻击凸显了针对 FL 系统中的中心聚合点和全局模型的威胁的复杂性和不断变化的性质。 这些危险涵盖了广泛的策略，包括复杂的数据推理和重建方法，以及间接的数据泄露手段。 这凸显了全面、先进、灵活的安全策略的必要性。
4 客户端和服务端的防御
防御包括保护训练数据、本地模型更新和聚合更新，防御根据它们保护的 FL 过程的哪一侧分为：客户端防御和服务器端防御。
4.1 客户端防御
客户端防御是为了保护 FL 过程的客户端部分免受威胁而实施的机制和策略，不仅保护本地模型，还保护这些模型中使用的训练数据，保留客户端生成的更新的完整性。
4.1.1 训练数据
为检测恶意客户端中毒更新（可能由中毒训练数据引起），提出了一套针对训练数据量身定制的防御机制，涉及增强数据预处理、图像增强、知识蒸馏。
1. 增强数据预处理
一种最先进的数据预处理方法——FLPM 方案，旨在防止属性推断和数据中毒攻击，将训练数据聚合到全局模型中之前修改训练数据的属性来实现的，该方案包含三个关键算法：用于划分属性的增强型变分自动编码器、基于非任务相关属性的分布约束的选择过程以及用于管理属性变化的控制系统。
2. 图像增强
一种通过图像增强进行操作的创新防御机制，减轻了主动重建攻击、恶意服务器和模型反转攻击。
3. 知识蒸馏
模型压缩技术的另一种方法，联邦蒸馏也称为联邦知识蒸馏，通过逐渐将知识从完全训练的模型转移到较小的模型来完成所需的任务，优先考虑知识交换而不是综合模型参数的传输，可以减轻后门攻击、对抗客户端攻击。
4.1.2 本地模型
为检测来自恶意客户端的有毒更新，提出了一套针对本地模型量身定制的防御机制，涉及集群、基于相似性、信任分数或局部模型评估、差分隐私、同态加密、安全多方计算、自动编码器、稀疏化、水印。
1. 集群
主要的、较大的集群将主要由真实的更新组成。，另一方面，较小的集群或远离中心集群的集群可能表明对手的干预，识别这些潜在的威胁集群，提供主导集群首选权重的更新，甚至完全忽略来自可疑集群的更新。
2. 基于相似性
当真正的或良性的客户端根据本地数据集更新其模型时，他们可能会创建虽然独特但彼此有一定相似性的更新，特别是如果 他们的数据分布有共同点。另一方面，恶意客户端或篡改数据的客户端往往会创建与既定规范显着不同的模型更新，余弦相似度和欧几里德距离等常见度量可用于确定这些相似性。
3. 信任分数或局部模型评估
评估局部模型是一种关键的防御机制。 评估本地模型有时包括为客户分配信任分数。通过使用验证数据集或其他指标评估每个本地模型，为客户的每个贡献分配可信度评级。如果发现局部模型降低了全局模型性能、与测试集相比本地模型表现不佳、局部模型收敛速度慢、后续模型更新之间的角距离大，可以将客户端视为恶意客户端。
4. 差分隐私
使用差分隐私的主要目标是保护客户在训练过程中给出的个人更新（梯度），向本地模型更新或梯度添加噪声来实现的，确保服务器永远不会看到正确的数据或更新。
5. 同态加密
同态加密允许对加密数据进行直接计算，是 FL 中的关键保护机制。 这种加密方法无需解密，即可模仿明文的精确线性代数计算。加密可能会导致更大的内存利用率和处理延迟。
6. 安全多方计算
安全多方计算是一个系统，允许拥有私有数据的许多参与者对其输入进行协作计算，而无需向其他人泄露其独特的数据，SMC 方法的另一个固有问题是要求所有参与者在整个训练过程中同时活跃，在某些 FL 架构中可能不切实际，其巨大的开销可能使其不适合大规模应用程序。
7. 自动编码器
自动编码器在异常检测方面非常成功，基本思想是在正常数据上训练自动编码器，使其能够掌握存在的固有模式和结构。当暴露于异常数据时，自动编码器在正确重建方面遇到挑战，导致重建错误增加。擅长过滤掉异常更新，同时保持模型的准确性。
8. 稀疏化
非常擅长解决提高通信效率和确保安全的双重问题，该策略需要在同行之间刻意仅共享最基本的参数。稀疏化也称为选择性共享，不仅大大减少了需要传输的数据量，而且还加快了模型收敛的过程
9. 水印
水印是一种实施故意的防御策略以确保模型的完整性并建立所有权，在训练阶段，此方法将独特的模式或标识符嵌入到模型中。FL 中的水印具有两个主要功能：首先，它保护知识产权，这在涉及众多贡献者的协作模型开发的背景下尤其重要；其次，它有助于识别和防止模型的非法复制或盗窃。实施需要在水印承受额外训练和修改的能力与其不显眼之间取得细致的平衡，以免损害模型的功能或侵犯隐私保护协议。
4.2 关于客户端防御的见解
总而言之，FL 中的客户端防御提供了广泛且多样化的技术来有效应对不同类型的威胁。 所涵盖的技术包括高级数据预处理、KD、聚类、基于相似性的算法、信任评分、差分隐私、同态加密、SMC、自动编码器、稀疏化和水印。每个解决方案在提高 FL 系统的安全性和效率方面都发挥着独特的作用，突显了此类环境中所需保护机制的多样性和复杂性。
4.3 服务端防御
服务器端防御是旨在保护 FL 过程的服务器元素的策略，确保全局模型的机密性和完整性。
4.3.1 全局模型
将重点转移到维护全局模型的完整性上，探索了从聚合方法到基于信任的评估的防御策略，涉及聚合方法、信任分数或全局模型评估、差分隐私和增强密文。
1. 聚合方法
在 FL 中，面对可能受到损害的本地更新，稳健的聚合对于维持全局模型的完整性至关重要，几个强大的聚合策略，涉及修剪平均值、Krum 技术、Multi-Krum、Bulyan、坐标均值方法、基于 DRACO 的框架、SIGNSGD、RFA（鲁棒联合聚合）。没有任何一种解决方案可以确保完全的安全性。在选择稳健的聚合方法时，必须考虑预期的精确对抗威胁、本地数据分布的内在结构以及安全性和计算效率的所需平衡。
2. 信任分数或全局模型评估
评估更新后的全局模型的完整性和性能至关重要，特别是在限制潜在恶意更新带来的风险方面。客户使用本地数据进行全局模型评估。如果全局模型被大多数验证客户端标记为受到损害，服务器将丢弃可疑更新，从而保护全局模型和整个 FL 系统的完整性。
3. 差分隐私
服务器收集客户端更新，聚合结果，然后在更新全局模型之前添加噪声。由于噪声一次性添加到聚合中，而不是单独添加到每个客户端的更新中，因此中央差分隐私通常比本地差分隐私具有更好的实用性。
4. 增强密文
旨在增强 FL 系统抵御来自敌对服务器和客户端的综合威胁。密文扰动在增强隐私方面的应用，还需注意一种在保护数据和维持模型有效性之间实现平衡，减少加密数据量同时仍确保强有力的安全措施，采取全面和多样化的战略来确保FL安全的必要性，许多防御策略，包括基于范数、基于克鲁姆和基于余弦的技术。
4.4 关于服务端防御的见解
总而言之，本节对 FL 中的服务器端防御进行了全面检查。这包括多种措施，例如强大的聚合技术、基于信任的评估、差异隐私和增强的密文防御。这些策略共同增强了 FL 系统的安全性和完整性，强调了应对各种威胁所需的保护措施的复杂性。防御策略的选择至关重要，应根据特定的对抗威胁、本地数据分布的固有结构以及安全性和计算效率之间的期望权衡来确定。
4.5 客户端和服务端防御的比较分析
从范围和重点、实施复杂性、数据类型敏感性、针对特定威胁的有效性、隐私和效率的权衡和最佳携同6个方面比较了客户端防御和服务端防御。
1. 范围和重点： 客户端防御的主要目的是保护本地模型更新和训练数据，重点是确保个人对 FL 过程的贡献。另一方面，服务器端防御重点保护数据组合的过程和整体模型的准确性，保证协作学习结果保持纯净。
2. 实施复杂性： 由于需要跨各种客户端设置进行部署，客户端防御通常需要更复杂的实施过程。 相反，服务器端防御是集中实施的，从而实现更加规范和一致的部署。
3.数据类型敏感性： 客户端防御，例如数据预处理和图像增强，对所处理的数据类型表现出高度的敏感性。另一方面，诸如鲁棒聚合技术之类的服务器端方法通常更加灵活并且对数据特征的依赖程度较低。
4. 针对特定威胁的有效性： 尽管两套防御措施都很重要，但其功效因威胁类型而异。 在客户端实施的知识蒸馏和差分隐私可以有效对抗数据中毒和隐私泄露。另一方面，服务器端聚合方法更适合减少恶意模型修改的影响。
5.隐私和效率的权衡： 客户端和服务器端防御都面临着平衡数据隐私和计算效率的挑战。 然而，这些权衡的特征各不相同。例如，与服务器端的同等情况相比，在客户端实现差分隐私可能会导致更大的数据失真。
6. 最佳协同： FL 安全最有效的技术可能涉及客户端和服务器端防御措施的组合和协调使用。通过将客户端数据预处理与服务器端稳健聚合相结合，可以提高整体系统的弹性。
5 讨论
FL中的客户端
问题1：攻击者如何利用或毒害 FL 设置中各个客户端的训练数据来破坏全局模型，此类攻击对现实世界有何影响？
数据中毒攻击使攻击者能够影响多个客户端的训练数据，可能会添加误导性数据来影响全局模型的决策；
后门攻击特别有害，会秘密修改学习过程以生成在典型情况下表现出正常行为的模型，但在被特定输入激活时表现出恶意行为，从而对系统的完整性构成隐藏但重大的风险；
干净标签攻击是指通过对合法数据样本进行微小修改，同时保持其标签不变来操纵合法数据样本
脏标签攻击（包括故意错误标记数据样本）可能会极大地破坏模型的整体可靠性，破坏了训练数据的完整性，导致模型做出错误的决策。
问题2：FL 的去中心化性质如何影响本地模型对对抗性攻击的敏感性，以及在这种情况下哪种类型的攻击最有效？
数据的去中心化（将数据存储在单个客户端的设备上）会带来明显的危险。去中心化架构本质上扩大了潜在的漏洞区域，使攻击者能够通过模型中毒等定制攻击来专门针对单个客户端，从而逐渐操纵全局模型。去中心化环境中的一个主要问题是缺乏集中监管，这阻碍了攻击的及时识别和解决。
协同攻击，其中与单个受感染的客户端相比，大量受感染的客户端可以协作对全局模型产生更大的影响；
后门攻击尤其强大，因为它们可能会被谨慎地纳入受感染客户端的模型更新中，并在特定条件下触发，从而难以识别。
模型中毒攻击通过引入更改的更新或恶意模型来直接破坏本地模型的完整性；
数据中毒攻击涉及操纵特定客户的训练数据，导致全局模型中的学习结果出现偏差。
问题3：FL 客户端更新过程中有哪些可被攻击者利用的关键漏洞，以及如何在实际应用中解决这些漏洞？
主要攻击类型是数据中毒和模型中毒攻击。
数据中毒 是指更改客户端设备上存储的训练数据以故意影响模型的学习过程的行为；
模型中毒攻击 专门针对传输到中央服务器的本地模型更改的损坏。这些可能包括后门攻击；
梯度和模型反转攻击 值得注意，因为它们涉及攻击者试图从客户端共享的梯度数据中重建或推断敏感信息；
搭便车攻击， 当客户在没有做出实质性贡献的情况下参与 FL 流程时，就会出现搭便车现象，这可能会损害模型的性能；
目标函数改变攻击 是指客户使用修改后的或恶意的损失函数来训练其模型的做法。这可能会导致全局模型表现出不良行为或漏洞。
这些攻击强调了持续监控和验证 FL 系统中客户端贡献的必要性，包括强大的数据预处理、异常检测和对客户贡献的持续验证。
问题4：FL 如何用于秘密通信，这些类型的攻击会产生哪些后果，以及哪些实际场景使 FL 特别容易受到此类滥用？
需要操纵模型参数或训练数据来编码和传输隐蔽信号，从而损害了 FL 系统的核心目标，即在保护数据隐私的同时协作开发模型。会导致显着的安全担忧，包括违反参与者之间的信任以及对 FL 系统完整性的潜在危害，导致全局模型不准确或有偏见；
在医疗保健或金融等关键领域尤其有害。
执行严格的数据验证流程，增强异常检测能力，并利用加密来保护数据传输。
FL中的服务端
问题1：攻击者如何在 FL 的模型聚合阶段操纵或窃听聚合的更新或梯度，以及哪些现实场景使服务器端更容易受到这些攻击？
梯度反转攻击的攻击者从服务器上的所有客户端获取梯度，以推断或重现原始数据；
利用 GAN 来重建单个客户数据样本；
成员推理攻击旨在通过观察模型的响应来确定客户本地训练集中是否包含特定数据样本
医疗保健或金融等敏感数据的情况下，在这些特定情况下，聚合的数据具有相当大的价值，使其成为攻击者的主要目标。
问题2：FL 中的受感染服务器会带来哪些风险，特别是涉及全局模型的完整性，以及在实践中哪些措施可以有效减轻这些风险？
危害包括客户端数据被暴露和可能被重建的可能性、全局模型被操纵的可能性以及使用成员资格和属性推断进行攻击的脆弱性
强大且可靠的聚合方法（例如截尾均值或中值）可以排除异常更新，以维护全局模型的整体完整性；
高级协议和增强密文等加密技术，可以有效防止未经授权的数据访问和窃听；
差分隐私方法可以有效避免单个客户端更新中敏感信息的泄露；
服务器审核并使用异常检测机制可能有助于及时发现恶意活动；
FLCert 和其他去中心化验证解决方案通过减少单点故障的可能性来增强系统的弹性。
问题3：攻击者如何利用 FL 系统中的恶意客户端来影响全局模型，以及哪些策略可以识别和应对此类协同攻击？
恶意客户端利用模型中毒和后门攻击等策略来修改全局模型
聚类和基于相似性的技术分析本地模型更新中的模式来检测异常；
信任分数由各个本地模型的可靠性确定，有助于识别和减少可疑客户端更新的影响；
差分隐私和同态加密分别通过向本地更新引入噪声和启用加密数据计算来增强安全性；
安全多方加密保证众多参与者之间的私密计算，防止仅来自客户端的数据共享；
自动编码器充当通过重建错误识别异常更新来检测异常的工具；
稀疏化有选择地分配重要参数，从而减少数据传输和潜在风险的脆弱性；
FL中的防御
问题1：在 FL 系统中检测或减轻来自恶意客户端的有毒更新的最有效策略是什么，哪些策略在特定的现实场景中最有希望？
利用 K-means 和 DBSCAN 等聚类算法来检测更新中的异常情况；
向客户分配信任分数，评估每个本地模型对全局模型整体性能的影响，然后相应地修改其影响；
差分隐私（涉及对本地更新引入随机扰动）和同态加密（允许对加密数据执行计算）对于确保 FL 系统的安全性至关重要；
自动编码器可以利用其检测和分析重建错误的能力来进行异常检测，从而增加额外的保护级别；
稀疏化方法（例如有选择地共享重要参数）可以有效减少数据传输和对有毒更新的敏感性。
问题2：FL 服务器如何确保从客户端接收到的更新的完整性和真实性，以及这些防御机制对各种应用领域有何影响？
关键方法包括强大的聚合技术，例如 Trimmed Mean、Median、Krum、Multi-Krum 和 Bulyan；
信任评分和全局模型评估方法（例如 FLCert）通过分散训练过程和利用多数投票来进行最终预测，提供了额外的安全层；
差异隐私合并到聚合过程中，可以确保只有客户端更新的修改表示可见，从而提高数据隐私；
增强的密文方法可防止恶意服务器和客户端威胁；
在医疗保健行业，强大的聚合和差分隐私可确保患者数据的机密性和模型的准确性。 信任评分和模型评估在金融领域被用来避免欺诈活动。 对于智慧城市和物联网的基础设施安全，需要强大的聚合和增强的密文。
问题3：哪些防御机制可以有效保护客户数据隐私，同时仍对全局模型做出贡献？这些防御机制在有效性和实用性方面与传统集中式学习防御相比如何？
知识蒸馏（KD）是一种重要的方法，它优先考虑知识的传输而不是复杂模型参数的披露，通过限制数据的暴露来保护隐私；
差分隐私 (DP) 可以区分单个客户端数据并避免数据泄露，它会以本地和全局形式引入对数据或更新的干扰；
同态加密可以对这些数据进行计算，从而确保稳健的数据隐私；
安全多方计算赋予多个实体执行计算的能力，同时保护私有输入，这在数据隐私至关重要的情况下至关重要；
用于异常检测的自动编码器；
通过稀疏化降低数据暴露风险，稀疏化涉及仅共享关键参数；
比较分析
问题1：在 FL 的背景下，哪个组更容易受到攻击：客户端组件还是服务器端组件？哪些因素导致这种易感性？
客户端组件通常比服务器端组件更容易受到攻击；
客户端的多样性和分布式性质，处理敏感数据的客户是数据泄露的有吸引力的目标，训练本地模型为数据篡改或插入有害数据提供了机会，客户有限的计算资源通常会阻碍强有力的安全措施的部署。
问题2：考虑到 FL 的独特挑战，传统的集中式学习防御与 FL 环境中所需的防御相比如何，特别是在解决特定的现实威胁方面？
集中式系统内的传统防御主要集中于保护中央数据存储库和处理单元；
由于跨多个客户端设备的数据和学习过程的分布式性质，FL 需要采用去中心化的安全方法；
集中式学习防御侧重于单个控制点，而 FL 防御本质上更加复杂和多样化，因为它们解决网络内各个点的安全问题。
问题3：可以提出哪些未来的研究方向和客观见解来增强对 FL 安全性的理解和有效性，特别是在确定针对双方最有效的攻击的最有效的防御技术方面？
- 先进的检测和响应机制：开发更复杂的方法来检测和响应新型攻击，特别是那些利用 FL去中心化性质的攻击。这包括利用人工智能和机器学习来实时预测和识别潜在的漏洞。
- 定制防御策略：研究针对特定类型的攻击和客户端环境的防御机制。这将涉及研究对客户端和服务器端组件最有效的攻击，并开发高效且侵入性最小的有针对性的防御措施。
- 隐私增强技术：探索先进的隐私增强技术，例如同态加密或安全多方计算，以在聚合过程中保护数据而不影响模型性能。该领域的研究可以侧重于平衡计算效率与强大的隐私保护。
- 跨域 FL安全框架：开发适用于不同领域（例如医疗保健、金融或电信）的通用安全框架。这些框架将满足每个领域独特的数据安全和隐私要求，同时保持 FL模型的有效性。
- 道德和监管考虑因素：调查 FL 的道德影响和监管要求，特别是在数据隐私和安全方面。未来的研究应旨在使 FL实践与新兴数据保护法和道德标准保持一致。
- 互操作性和标准化：重点关注 FL 系统的互操作性和安全协议的标准化。 这将促进 FL的协作工作，确保安全措施在不同系统和部门中得到一致应用。
- 真实世界模拟和测试：进行广泛的模拟和真实世界测试，以评估不同防御技术针对有效攻击的有效性。这将为 FL环境中各种安全策略的优点和缺点提供实用的见解。
- 以用户为中心的安全模型：开发以用户为中心的安全模型，使个人客户能够更好地控制其数据及其在 FL 中的使用。这可能涉及对用户友好的工具和界面的研究，以增强 FL 系统的透明度和信任度。
6 结论
通过设备上的训练来倡导数据隐私，FL 有望实现 ML 的范式转变。然而，我们发现了许多客户端到服务器的安全挑战。为了解这些挑战，我们设计了研究问题，对威胁形势及其对策进行结构化检查。
我们对这些威胁进行分类，阐明潜在的攻击向量，并演示适合本地和全局模型的各种防御措施。所获得的知识强调需要一种全方位的防御策略来解决 FL 过程每个阶段的漏洞。
从本质上讲，随着 FL 的不断发展，我们作为研究人员和从业者的责任非常明确：发展我们的防御措施，确保一个安全而强大的框架，最大限度地发挥 FL 的潜力，同时优先考虑安全和隐私。
