FedRS: Federated Learning with Restricted Softmax for Label Distribution Non-IID Data, KDD 2021

首先讲道理

  本文探讨在Label Shift的场景下（即大多数论文实验的数据划分设置），提出Restricted Softmax来缓解异质性。
  Softmax会让结果拉向（Pull）自己的类别，并使结果远离（Push）不属于自己的类别。如A所示，对于X1样本，Softmax将它拉近(Pull)所属于的区域，并且将它推离(Push)不属于自己的区域。两种力共同作用。
  客户的训练数据只包含几个类别。把他包含的类的样本成为正样本，反之则为负样本。如B所示，由于用户缺少负样本的指导，Softmax就不知道怎么Push原理不存在的负样本。同时，当拿他训练的模型遇到负样本时，又不知道往哪Pull。即图B所示的两个Missing。
  图C举了个FedAvg的栗子。A有三个类的数据，B有2个类的数据。A训练的模型只会分他有的那三个类，另外两个类就随便弄了，没有学习到相应的分类知识。B同理。所以当把A和B的模型进行聚合时，就不准了。这钟现象与Softmax的作用效果有关。

  当进行多轮Local training后，由于不正确的指导（pulling and pushing）本地就会越来越偏。进而导致不好的聚合。

然后提方法

  既然作者说Softmax有锅，那就对它进行改进！提出了受限的Softmax

  向Softmax里加权重参数，限制它更新不准确的方向。核心思想就是限制Pushing的力量（你不知道咋退离你就省点劲，少推点，反正也不准）。与此同时，作者说这样也会使特征向更准确的方向进行更新。实验部分说，α取0.5效果就不戳。

杂谈

  没啥说的，我是废物