多任务模型PLE：Progressive Layered Extraction_progressive layered extraction (ple): a novel mult

Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations

论文地址：https://dl.acm.org/doi/abs/10.1145/3383313.3412236

要解决的问题

多任务学习中常见的2个问题

1. 负向迁移问题
   多任务学习由同一个底层输入来学习不同的任务，数据量少的任务可以通过transfor learning补充学习增益，可以借助底层共享的Embedding层或者上层的共享结构来实现。但是现实中多个任务彼此之间的相关性很弱或很复杂时，这种参数共享的transfor learning反而有害，使得多个任务的性能出现下降。
2. 跷跷板效应
   多个任务同时优化时，经常出现一个任务效果较好，而另外一个任务的效果下降，换言之，效果好的任务可能是以损害另外一个任务的效果而得到的。

跷跷板效应论文中给出了详细的实例演示。论文的场景是腾讯新闻中的视频推荐（如下图），需要预估的多个目标包括VTR（视频点击率，定义为超过一定时间阈值的播放行为，二分类问题），VCR（视频完成度，定义为视频完成播放的比例，回归问题），SHR（新闻分享率），CMR（新闻评论率）等等。论文重点关注的是VTR和VCR，这两个任务的相关性比较复杂，容易出现跷跷板效应。

论文对比了几种多任务学习参数共享的方法在VCR和VTR上面的效果，首先对参数共享的方式进行了归类，分为hard parameter sharing、asymmetry parameter sharing、customized parameter sharing、MMoE、CGC(论文提出的共享结构)

然后对应的模型进行评测，按照VTR的auc和VCR的mse结果进行展示。如下图，可以看到横轴是VTR auc，纵轴是VCR的mse，中间的原点表示VTR和VCR单个任务优化的指标。除了MMoE和PLE外，其他的model要么在VCR上面表现好，但是VTR表现差，要么在VTR上面表现好但是在VCR上面表现差，MMoE在VTR和VCR上面都不错，但是相对于单任务来讲，对于每个单任务的提升都不多，只有PLE在2个任务上面表现出色，相对单个任务提升都较多，这个图展示跷跷板非常明显。

PLE怎么做的

CGC

为了解决负向迁移问题和跷跷板效应，论文提出了CGC（Customized Gate Control）。如下图

相较于MMoE（所有任务用到的expert没有区别），CGC将expert分成了2种，一种是特定任务相关的，一种是所有任务共享的。这种设计避免了expert之间参数共享的相互干扰，每个任务都有自己的expert组，可以集中精力学习本任务独特的一些信息，同时每个任务自己的gate网络也能从共享的expert组中汲取信息，获得更多的信息增益。

举例说明，对于任务$k$，其gate网络的输出为
$$g^k(x)=w^k(x)S^k(x)$$
$x$表示输入向量，$w^k(x)$表示向量的权重，由softmax层计算得到
$$w^k(x)=Softmax(W_g^{k}x)$$
其中$W_g^k\in R^{(m_k+m_s)\times d}$即softmax的全连接矩阵参数，$m_k$和$m_s$分别表示任务$k$的expert的个数和共享expert的个数，$d$表示向量维度。
$S^k(x)$是选定的向量组，包括任务$k$的expert组和共享任务的expert组，表示如下
$$S^k(x)=[E_{(k,1)}^T,E_{(k,2)}^T,...,E_{(k,{\mathbf{m}}_k)}^T,E_{(s,1)}^T,E_{(s,2)}^T,...,E_{(s,{\mathbf{m}}_s)}^T{]}^T$$
和MMoE相比，实际上是去掉了其他任务的expert组和本任务的tower网络的连接。

PLE

CGC只有一层，为了抽取更加深层次的信息，对CGC进行扩展，将CGC当做一个层，往上面叠加，增加参数量，扩大模型容量，进一步抽取信息。不过如果是多层的话，和CGC有点小区别，除了最上层和CGC一样，底下的层的共享expert组都多一个gate网络，用于将本层的所有expert的信息聚合起来，提供给到下一层使用。如下图

还是以任务$k$为例，任务$k$在PLE的第$j$层的gate网络输出为
$$g^{k,j}(x)=w^{k,j}(g^{k,j-1}(x))S^{k,j}(x)$$
$w^{k,j}$表示任务$k$各个选定的向量组的权重，$g^{k,j-1}$表示上一层任务$k$的gate网络输出。
最终，经过任务$k$的tower网络$t^k$转换后，任务$k$的输出为
$$y^k(x)=t^k(g^{k,N}(x))$$

对比其他的多层多任务模型，如下图，PLE还是将expert分为了2种，一种特定任务相关，一种是大家共享。

loss层面优化

出了模型结构的优化，论文还提出了多任务的loss优化。一般多任务模型的loss函数由多个任务的loss进行加权求和，如下，假设有$K$个任务
$$L({\theta }_1,{\theta }_2,...{\theta }_K,{\theta }_s)=\sum _{k=1}^K{w}_k{L}_k({\theta }_k,{\theta }_s)$$

存在2个问题

问题1：不同任务的样本空间不同，比如用户点击之后才能评论和分享，论文的优化措施是计算特定任务的loss时，忽略这个本任务样本空间以外的loss，只计算本任务样本空间的损失。

不同任务训练空间的关系图

如下式，如果样本$i$在任务$k$的样本空间，才计算loss，否则不计算， δ k i ∈ { 0 , 1 } \delta_k^i \in \{0,1\} δki​∈{0,1}
$$l_k({\theta }_k,{\theta }_s)=\frac{1}{{\sum }_i{\delta }_k^i}\sum _i{\delta }_k^{i}los{s}_k({\hat{y}}_k^i({\theta }_k,{\theta }_s),y_k^i)$$

问题2：多任务模型对于权重选择比较敏感，同时不同训练阶段各个任务的重要些也不同，相对于设置一个固定的任务权重，论文提出了对于任务设置一个动态的任务权重，可以根据不同的训练阶段来自动调整。

$$w_k^t=w_{k,0}\times {\gamma }_k^t$$
$t$表示训练epoch，$w_k^t$和${\gamma }_k^t$都是超参数

实验部分

定义多任务增益

效果

对比不同任务相关性的表现

对比MMoE和PLE的expert权重分布，MMoE的expert权重区别不大，PLE不同任务的exper权重区别较大