当前位置:   article > 正文

推荐系统学习笔记-论文研读--渐进分层抽取的多任务学习模型_多任务学习跷跷板效应

多任务学习跷跷板效应

研究背景

  1. 多任务相关性的复杂性和竞争性,MTL模型往往会出
    现性能退化和负迁移
  2. 跷跷板现象,即一项任务的性能往往会因影响其他任
    务的性能而得到提高

研究成果

  1. 跷跷板现象的发现,MTL由于复杂的内在关联性而没有优于相应的单任务模型
  2. 从联合表征学习和信息路由的角度,提出了一种新的共享学习结构的PLE模型
  3. 进行广泛的离线实验,以评估工业和公共基准数据集上PLE的有效性

摘要大意

  1. 多任务学习(MTL)已经成功地应用于许多推荐应用
  2. 任务相关性的复杂性和竞争性,MTL模型往往会出现性能退化和负迁移
  3. 观察到了一个有趣的跷跷板现象
  4. 提出了一种新的共享结构设计的递进分层抽取(PLE)模型

跷跷板现象:某一个任务的指标上升,但是另外一个任务的指标会下降

在这里插入图片描述

PLE的结构

在这里插入图片描述
在这里插入图片描述

CGC结构

在这里插入图片描述

experts结构

在这里插入图片描述

GATE结构

在这里插入图片描述

Tower结构

在这里插入图片描述

实验结果

腾讯视频推荐数据,PLE与单任务模型,MMOE,CGC模型在核心指标AUC, MSE 的对比

在这里插入图片描述
腾讯视频推荐数据,PLE与单任务模型,MMOE,CGC模型关于CTR/VCR目标的对比
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/article/detail/47446
推荐阅读
相关标签
  

闽ICP备14008679号