【联邦学习-大模型论文】Federated Large Language Model : A Position Paper

摘要

大规模语言模型（LLM）受到了广泛的关注，并应用在各个领域，但它们在现实场景中的发展面临挑战。这些挑战源于公共领域数据稀缺以及在私有领域数据方面需要维护隐私。为了解决这些问题，联邦学习（FL）已成为一项有前景的技术，它能够在保留分散数据的同时实现共同训练共享模型。我们提出了联邦大规模语言模型的概念，其包括三个关键组成部分，即联邦LLM预训练、联邦LLM微调和联邦LLM提示工程。针对每个组成部分，我们讨论了它相对于传统LLM训练方法的优势，并提出了具体的工程策略以供实施。此外，我们探讨了联邦学习与大规模语言模型整合所引入的新挑战。我们分析了现有解决方案，并在联邦LLM的背景下确定了这些解决方案可能面临的潜在障碍。

一、背景和问题

LLM的有效性在很大程度上取决于其模型大小和训练数据集的范围。
但是公共领域数据的固有局限性，往往无法满足LLM的要求。私人领域积累了大量数据，但面临隐私安全问题。

现有的隐私保护方式来解决上述问题：

• 基于密码学的方法，主要集中在安全多方计算（SMPC）（效率问题）
• 可信计算，利用可信硬件，如可信执行环境（TEE）（需要可信硬件）
• 联邦学习

联邦学习概念。（略）

LLM
LLM是基于预训练语言模型（PLM）开发的大规模语言模型，LLM训练包括三个阶段：预训练，自适应微调和利用。

1、在预训练阶段，基础模型在来自大型语料库的未标记文本上进行训练，以学习语言模式并获得有关语言的一般知识。预训练的主要目标是通过无监督或自监督的方式产生有用的序列表示，对应于自监督学习（SSL）范式的第一阶段。

2、模型针对下游任务或特定领域进行微调，以使其知识专业化并适应特定用例。然而，由于模型规模庞大和对标注数据的需求，直接微调可能在计算上成本高昂。为了降低计算成本，目前主流的研究采用了高效的参数方法，例如适配器调整，前缀调整，LORA和提示调整。这些方法涉及冻结主干网络参数，并只调整部分参数。

3、在利用阶段，LLM利用zero-shot或few-shot学习来进一步提高其在下游任务中的泛化能力并增强推理能力。在这个阶段使用的主要技术是提示学习，它通过精心设计提示来优化用户与模型之间的交互。这些提示激发了模型的推理能力，从而提高了下游任务的性能。

二、Federated LLM

1、Federated LLM Pre-training

与完全依赖于集中式公共数据集的传统方法相比，联邦LLM预训练结合了集中式公共数据和分散式私有数据。这种对不同数据源的整合有助于增强模型的泛化能力，从而在维护数据隐私的同时获得更广泛的知识。

两种方式：

• 第一种方法涉及多个客户端从原始数据开始进行数据预处理，以及通过参数选择和任务设计来设计LLM架构进行预训练。随后进行模型训练。这种方法的优势在于可以根据特定需求定制模型结构和任务，从而提高性能。此外，它允许建立可定制的检查点，并有助于在后期轻松进行调整。然而，需要注意的是，这种方法涉及大量的计算和通信开销，并且可能会给模型的收敛带来挑战。
• 第二种方法利用现有的开源基础模型，并基于这些现有模型进行微调。这种方法的优势在于计算和通信开销较低。然而，在适应特定用户意图任务时可能存在潜在的不匹配。

总之，两种方法之间的选择取决于性能优化和计算效率之间的权衡。第一种方法允许进行特定任务的模型设计，可能具有更优越的性能，但带来更高的计算和通信成本。第二种方法减少了开销，但可能牺牲了一定程度的任务适配性。

2、Federated LLM Fine-tuning

传统的LLM微调方法涉及各个机构在其专有数据集上执行该过程。然而，这种方法在促进机构间合作方面遇到了困难。此外，本地数据不足或微调和预训练数据集之间存在显著差异可能导致模型的泛化性能不佳。这些挑战突显了需要解决协作障碍并提高LLM微调整体有效性的替代方法。

联邦LLM微调方法，用以解决LLM微调中机构间协作的挑战。它考虑了每个客户端特定的下游任务要求，并利用来自多个客户端的监督数据进行联合多任务训练。微调后的模型随后在客户端之间共享，促进协作同时保障隐私。通过利用多样化的数据集，该方法旨在充分释放联邦LLM的潜力并提高模型的泛化性能。

LLM的规模要求在进行联邦LLM微调时需要仔细考虑计算和通信两个方面。因此，提出了两种旨在促进联邦LLM微调实施的解决方案。

• 第一种方法涉及对预训练模型进行直接的全模型微调，这能够提供卓越的性能。然而，这种方法伴随着增加的计算和通信成本。
• 第二种方法将高效参数微调方法整合到联邦学习框架中，例如适配器微调、前缀微调、提示微调[和低秩适应（LoRA）。通过最小化参数梯度计算和减少聚合参数的数量，这种方法有效降低了计算和通信成本。值得注意的是，这种方法在保留近似性能和显著减少计算和通信负担之间取得了平衡。然而，仍有可能进一步提升性能，这需要在未来的研究中进行探索。

3、Federated LLM Prompt Engineering

LLM通过应用提示工程技术增强其上下文学习能力，并提高处理复杂任务的熟练程度。然而，为了解决隐私问题，提示模板的设计通常依赖于公开可用的数据源。尽管这种方法有助于保护用户隐私，但对提示工程的整体潜力施加了一定限制。这些限制源自两个主要考虑因素。首先，公共数据集通常缺乏涉及特定领域或个人的私密信息。因此，提示模板可能无法充分优化用于特定领域或个性化需求。其次，广泛采用公共数据集导致常用提示模板的频繁使用，这可能导致模型产生重复或缺乏刺激的回应。

联邦LLM提示工程，结合联邦学习和提示工程，在敏感数据上生成提示模板的新方法，同时确保隐私保护。主要目标是改进LLM的提示准确性和有效性，从而增强其上下文学习能力，并使其更熟练地处理复杂任务。此外，该方法的优势在于提供针对多个客户端特定要求量身定制的个性化提示。在协作训练环境中，参与的用户通过上传本地更新的提示学习器参数来做出贡献，从而消除了原始数据传输的需求。这个过程有效地减轻了暴露敏感信息的风险，完全符合联邦学习的隐私保护框架。重要的是，提示学习器参数专门捕获了提示类和文本提示之间的相互关系，没有直接包含输入特征嵌入。此外，这些参数在整个训练数据中保持静态，从而保持了与输入无关的特性。当服务器旨在从更新中恢复原始数据时，这种属性尤其有用。

总的来说，所提出的基于联邦学习的方法，结合提示工程，不仅保证了隐私保护，还增强了LLM对个别客户要求的适应性。它赋予LLM有效处理多任务场景的能力，为机器学习和自然语言处理领域的研究和发展打开了一个充满前景的途径。

基于提示结构，提示学习可以分为两种形式：手动设计的提示和参数化的提示。参数化提示可以进一步分为离散提示，也称为硬提示，和连续提示，也被称为软提示。在联邦LLM提示工程的背景下，使用软提示更为可取，原因如下：

• 软提示利用其固有的参数特性，允许提示模板根据用户的训练数据进行调整。这个特性作为联邦学习和提示工程之间的重要中介，促进了两者之间的有效协作。
• 采用提示的目标是使LLM在各种任务中展现出泛化能力，而无需明确的人工定义任务规范。软提示符合这一目标，通过赋予模型适应性和灵活性来实现。

总的来说，采用软提示在联邦LLM提示工程中具有显著优势。它促进了提示模板对用户特定数据的调整，增强了联邦学习和提示工程之间的协同效应。此外，使用提示使LLM具有固有的泛化能力，消除了对刚性任务边界或明确的人工定义任务规范的需求。

三、Challenges

尽管针对FL和LLM整合的研究已经相当充分，但在全面探讨由此融合带来的新挑战方面仍存在重大差距。虽然许多这些挑战源于联邦学习，但在扩展到大规模语言模型时变得尤为复杂。具体而言，关键的挑战包括安全威胁和防御、隐私和隐私增强、效率以及处理非独立同分布（Non-IID）数据等方面。

1、安全威胁与防御

FL和LLM的结合带来了需要解决的新的安全威胁：

• 毒化攻击特别具有挑战性，这是因为LLM具有深度变换器结构和多阶段训练过程。这些攻击具有更高的成功率，并且在联邦LLM训练中更难检测。
• 对抗样本攻击也是一个问题，因为联邦学习的分布式性质使全局模型参数在横向联邦学习方案中共享，增加了模型参数泄漏的可能性。这使得联邦学习更容易受到白盒攻击的影响，这种攻击可能在部署联邦学习模型后实施。

防御这些安全攻击的方法通常包括数据清理，鲁棒聚合，对抗训练等。然而，这些方法应用于联邦LLM时会面临挑战。

• 数据清洗对过滤毒化信息是有效的，但需要访问本地用户数据，这增加了隐私保护的复杂性。此外，在分布式联邦学习环境中的服务器设置中实施数据清洗也是具有挑战性的。
• 基于相似性和模型性能的鲁棒聚合方法在实践中也具有挑战性。相反，我们可以采用基于训练函数优化的鲁棒聚合方法，利用损失函数的特性和深度学习训练中的多轮训练结构作为可能的方向。然而，这样的方法必须考虑它是否会对变换器结构本身产生负面影响，因为已经显示FedAvg对变换器中的注意机制产生了负面影响。
• 对抗训练需要大量资源，可能对涉及许多参与者的跨设备联邦学习环境中的轻量级用户来说是无法负担的。

2、隐私威胁和隐私增强

FL与LLM的结合引入了新的隐私威胁：

• 首先，LLM的训练数据可能会无意中转化为生成的内容，其中可能包含诸如医疗记录和银行账号等敏感个人信息。报告表明，大型语言模型 ChatGPT 可能会在其他用户的对话中生成敏感信息，存在重大的隐私问题。因此，对敏感信息的存储、记录和访问设置严格限制，或结合加密技术，可以防止隐私泄露，保护用户隐私。
• 联邦学习与LLM结合可能引入新的推理攻击方法。最近的研究表明，在联邦学习中，LLM的记忆使其更容易受到隐私侵犯。研究表明，LLM的变换器架构在假设存在不诚实服务器时容易受到推理攻击。服务器可以通过变换器的缺陷提取用户端数据，突出了对新防御机制的需求。此外，有效的微调和提示学习通常在联邦学习训练过程中被使用，但它们在保护隐私方面的效率尚待验证。
• 基于提示的攻击尽管构建了使预训练的大型模型输出更符合人类语言的提示，但可能导致隐私问题。特定提示模板可能导致 ChatGPT 输出与隐私相关的数据。用户还可以通过某些提示获得更大的模型权限和访问敏感隐私数据。因此，基于提示的攻击策略带来重大的隐私问题，应予以相应处理。
• 尽管GAN是有前景的无监督深度学习模型，通过生成和辨别模型之间的相互竞争产生出色的输出样本，但对GAN攻击的研究主要集中在计算机视觉数据。有必要研究GAN在自然语言处理（NLP）任务中的应用，以确定其潜在的隐私风险。

隐私增强技术，如同态加密、多方安全计算和差分隐私，有助于减轻联邦学习中的隐私威胁。然而，在联邦LLM的背景下，这些方法的应用带来了新的挑战。

纵向联邦图神经网络（VFGNN）利用差分隐私将随机噪音注入传输的梯度信息，从而掩盖或模糊实际的查询结果，保护敏感数据。然而，在联邦LLM中，模型参数的庞大规模和模型的深度可能导致差分隐私引入的随机噪音迅速放大。这些噪音可能会压倒梯度信号，导致模型性能下降。

此外，在联邦LLM的高效微调阶段中，将差分隐私与高效参数方法相结合还需要进一步探索。

3、效率

联邦LLM不仅在大规模计算方面存在效率挑战，还存在联邦学习的通信开销。在联邦学习期间，需要在大量参与设备和服务器之间交换更新的梯度，这可能导致巨大的通信开销。这个挑战受到网络带宽有限的影响，可能导致成员的掉线率增加，进而导致更长的通信时间，最终影响联邦LLM的训练可用性。

4、Non-IID

四、思考

FL与LLM结合
优点：可以利用私有数据进行训练，使得LLM表现更加出色
缺点：同时面对FL和LLM两者本身的缺点，如FL本身的隐私安全问题，效率问题等。
总之将两者结合还是很有研究前景的，本文也给出了在LLM的三个阶段如何与FL结合的方法，如果做隐私安全的话，可以从模型微调和提示工程入手，攻击模型，使其泄露隐私或输出错误信息。