联邦学习研究方向及论文推荐（二）_diverse client selection for federated learning vi

熬过了一个比赛，也开始第二篇论文推荐的内容。huuuu

目录

Research directions（2）

6.Optimization

7.Fairness

8.Applications

9.Heterogeneity

Data Heterogeneity (NON-IID)

Model Heterogeneity

Device Heterogeneity

10.Client Selection

---

Research directions（2）

6.Optimization

1. Federated Learning via Posterior Averaging: A New Perspective and Practical Algorithms

   • 论文内容：提出了一种新的视角，将联邦学习优化问题转化为后验推断问题。
   • 分析：这种方法为理解和实现联邦学习提供了新的途径，特别是在处理不确定性和模型更新方面。

2. Adaptive Federated Optimization

   • 论文内容：研究了联邦学习中的自适应优化器，提出了适用于联邦学习的自适应优化算法。
   • 分析：自适应优化技术能够根据训练数据的特性动态调整学习率，这对于提高联邦学习模型的训练效率和性能至关重要。

3. Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity

   • 论文内容：针对异构数据，提出了一种在通信复杂度恒定的情况下最大化AUC的联邦学习方法。
   • 分析：在实际应用中，数据往往是异构的，该论文的方法有助于在保持通信效率的同时提高模型的预测性能。

4. FedBN: Federated Learning on Non-IID Features via Local Batch Normalization

   • 论文内容：探讨了如何使用局部批量归一化来减轻模型在特征上的分布偏移。
   • 分析：批量归一化是深度学习中的关键技术，该论文的方法可能有助于提高联邦学习模型在非独立同分布数据上的表现。

5. Sageflow: Robust Federated Learning against Both Stragglers and Adversaries

   • 论文内容：提出了一种能够同时对抗落后设备和对抗性攻击的鲁棒联邦学习算法。
   • 分析：在现实世界的联邦学习部署中，设备性能的异质性和潜在的对抗性攻击是常见问题，该论文的方法对于提高系统的鲁棒性具有重要意义。

6. STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning

   • 论文内容：提出了一种随机双向动量算法，用于解决联邦学习中的分布式随机非凸优化问题。
   • 分析：该算法在保持算法性能的同时减少样本和通信的复杂度，对于大规模联邦学习应用尤其有价值。

7. Secure Bilevel Asynchronous Vertical Federated Learning with Backward Updating

   • 论文内容：研究了垂直联邦学习中的安全异步优化问题，并提出了一种反向更新机制。
   • 分析：垂直联邦学习在处理跨领域数据时非常有用，该论文的方法可能有助于提高数据的安全性和优化过程的效率。

8. Federated Composite Optimization

   • 论文内容：讨论了含有非光滑正则化项的损失函数在联邦学习中的优化问题。
   • 分析：正则化技术在机器学习中用于防止过拟合，该论文的方法可能为处理更复杂的正则化项提供了解决方案。

7.Fairness

本部分主要关注如何在分布式学习环境中保持算法的公平性，以及如何识别和减少可能存在于训练数据中的偏见。

1. 性能公平性

   论文: "Addressing Algorithmic Disparity and Performance Inconsistency in Federated Learning"内容复分析：该论文提出了一种方法来解决算法在不同设备或数据集上性能不一致的问题，通过调整模型更新或选择策略来提高整体性能。

2. 公平性意识的联邦学习

   论文: "Fairness-aware Agnostic Federated Learning"内容复分析：论文探讨了在缺乏对局部数据分布了解的情况下，如何设计联邦学习算法以确保公平性。

3. 资源分配公平性

   论文: "Fair Resource Allocation in Federated Learning"内容复分析：该论文讨论了如何在资源有限的情况下，公平地在参与者之间分配计算资源或数据。

4. 未知数据分布的联邦学习

   论文: "Agnostic Federated Learning"内容复分析：论文提出了一种策略来处理数据分布未知的情况，确保模型训练的鲁棒性和公平性。

5. 减少偏见

   论文: "Mitigating Bias in Federated Learning"内容复分析：论文研究了如何识别和减少联邦学习中的数据偏见，以提高模型的公正性。

6. 个性化的公平和鲁棒联邦学习

   论文: "Ditto: Fair and Robust Federated Learning Through Personalization"内容复分析：该论文提出了一种个性化的方法来提高联邦学习的公平性和鲁棒性，通过定制模型以适应不同的用户数据。

7. 客户端选择效率提升

   论文: "An Efficiency-boosting Client Selection Scheme for Federated Learning with Fairness Guarantee"内容复分析：论文提出了一种客户端选择方案，旨在提高联邦学习的训练效率，同时保证选择过程的公平性。

8. 贡献公平性

   论文: "Profit Allocation for Federated Learning"内容复分析：该论文探讨了如何根据参与者的贡献公平地分配利润或其他形式的回报。

这些论文涵盖了联邦学习中公平性的不同方面，包括性能一致性、资源分配、客户端选择、个性化以及利润分配等。

8.Applications

联邦学习作为一种分布式机器学习方法，已经在多个领域显示出其强大的应用潜力。

1. Computer Vision（计算机视觉）

   • FedVision: An Online Visual Object Detection Platform Powered by Federated Learning
   • 分析：FedVision可能是一个在线平台，利用联邦学习进行视觉对象检测，这有助于在不共享数据的情况下训练和改进模型。

2. Nature Language Processing（自然语言处理）

   • 论文如"Federated Learning for Mobile Keyboard Prediction"和"Applied federated learning: Improving google keyboard query suggestions"
   • 分析：这些研究可能探索了如何使用联邦学习改进移动键盘的预测功能，例如表情符号预测和查询建议，增强用户体验同时保护用户隐私。

3. Automatic Speech Recognition（自动语音识别）

   • 论文如"A Federated Approach in Training Acoustic Models"和"Training Speech Recognition Models with Federated Learning: A Quality/Cost Framework
   • 分析：这些研究集中于使用联邦学习来训练声学模型，提高自动语音识别的准确性，同时保护用户的语音数据。

4. Healthcare（医疗保健）

   • 论文如"Privacy-preserving Federated Brain Tumour Segmentation"和"Advancing health research with Google Health Studies"
   • 分析：在医疗保健领域，联邦学习被用于保护患者数据的同时进行重要的健康研究，如脑肿瘤分割，这有助于提高诊断的准确性和效率。

5. Blockchain（区块链）

   • 论文如"FedCoin: A Peer-to-Peer Payment System for Federated Learning"和"Blockchained On-Device Federated Learning
   • 分析：这些研究探讨了区块链技术与联邦学习的结合，例如创建点对点支付系统，增强了联邦学习平台的安全性和激励机制。

9.Heterogeneity

Data Heterogeneity (NON-IID)

1. Data-Free Knowledge Distillation for Heterogeneous Federated Learning

   • 会议/机构: ICML 2021, Michigan State University
   • 分析: 该论文可能探讨了如何在没有数据的情况下进行知识蒸馏，以解决联邦学习中的数据异构性问题。

2. Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity

   • 会议/机构: ICML 2021, The University of Iowa
   • 分析: 论文提出了一种在通信复杂度恒定的情况下，最大化AUC的方法，特别针对异构数据。

3. Exploiting Shared Representations for Personalized Federated Learning

   • 会议/机构: ICML 2021, University of Texas at Austin; University of Pennsylvania
   • 分析: 论文讨论了如何利用共享表示来实现个性化的联邦学习，这可能有助于处理数据异构性。

4. SCAFFOLD: Stochastic Controlled Averaging for Federated Learning

   • 会议/机构: ICML 2020, EPFL; Google
   • 分析: SCAFFOLD是一种新的联邦学习算法，旨在通过随机控制平均来提高异构数据集上的学习效率。

Model Heterogeneity

1. Personalized Federated Learning with Moreau Envelopes

   • 会议/机构: NeurIPS 2020, The University of Sydney
   • 分析: 论文探讨了如何使用Moreau包络来实现个性化的联邦学习，以适应模型异构性。

2. Federated Learning of a Mixture of Global and Local Models

   • 会议/机构: KAUST
   • 分析: 论文讨论了如何在联邦学习中结合全局和局部模型，以处理模型异构性。

3. Salvaging Federated Learning by Local Adaptation

   • 会议/机构: Cornell University
   • 分析: 论文提出了一种通过局部适应来改善联邦学习性能的方法，特别是在模型异构性的情况下。

Device Heterogeneity

1. Sageflow: Robust Federated Learning against Both Stragglers and Adversaries

   • 会议/机构: NeurIPS 2021, KAIST
   • 分析: Sageflow是一种鲁棒的联邦学习框架，能够同时对抗落后设备（stragglers）和对抗性攻击。

2. Towards Flexible Device Participation in Federated Learning

   • 会议/机构: AISTATS 2021, CMU; Sun Yat-Sen University
   • 分析: 论文探讨了如何实现在联邦学习中更灵活的设备参与，以适应设备异构性。

3. Supplementary

   • 材料: Pisces: Efficient Federated Learning via Guided Asynchronous Training (ACM SoCC 2022, HKUST)
   • 分析: Pisces是一种通过引导异步训练来提高联邦学习效率的方法，这可能有助于处理设备异构性。

10.Client Selection

在联邦学习中，客户端选择（Client Selection）是一个关键问题，它直接影响到学习过程的效率、模型的质量和系统的鲁棒性。

1. Diverse Client Selection for Federated Learning via Submodular Maximization

   • 会议/机构: ICLR 2022, Intel; CMU
   • 分析: 该论文探讨了如何通过次模最大化方法来选择多样化的客户端，以提高联邦学习的性能和泛化能力。

2. TiFL: A Tier-based Federated Learning System

   • 会议/机构: HPDC 2020, George Mason University
   • 分析: 论文提出了一种基于分层的联邦学习系统，旨在通过客户端分层来优化学习过程。

3. HACCS: Heterogeneity-Aware Clustered Client Selection for Accelerated Federated Learning

   • 会议/机构: IPDPS 2022, University of Minnesota
   • 分析: HACCS是一个考虑异构性的客户端选择方法，通过聚类加速联邦学习过程。

4. Communication-Efficient Federated Learning via Optimal Client Sampling

   • 会议/机构: University of Texas at Austin
   • 分析: 论文讨论了如何通过最优客户端抽样来提高联邦学习的通信效率。

5. Oort: Efficient Federated Learning via Guided Participant Selection

   • 会议/机构: OSDI 2021, University of Michigan
   • 分析: Oort是一个通过引导参与者选择来提高联邦学习效率的方法。

6. Optimizing federated learning on non-iid data with reinforcement learning

   • 会议/机构: IEEE INFOCOM 2020, University of Toronto
   • 分析: 论文探讨了如何使用强化学习来优化非独立同分布数据上的联邦学习。

Reference
1.Kairouz, P., McMahan, H. B., Avent, B., Bellet, A., Bennis, M., Bhagoji, A. N., ... & Zhao, S. (2021). Advances and open problems in federated learning.  Foundations and trends® in machine learning,  14(1–2), 1-210.
2. GitHub - innovation-cat/Awesome-Federated-Machine-Learning: Everything about federated learning, including research papers, books, codes, tutorials, videos and beyond

————————————————

                            版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
                        
原文链接：https://blog.csdn.net/weixin_74181752/article/details/139419927