ICLR 2022 | Facebook AI提出解决表示学习坍塌问题新方法_vicreg

作者：小小林熬夜学编程 | 2024-06-16 18:01:18

踩

vicreg

Facebook AI团队在ICLR 2022发表了一篇文章，针对表示学习中的坍塌问题，提出了VICREG方法，通过variance、invariance、covariance三种loss的结合约束自监督学习过程，在表示学习中取得SOTA效果，且不依赖负样本构造。下面为大家详细介绍一下这篇文章，以及这个方向上的历史相关工作。

论文标题：VICREG: VARIANCE-INVARIANCE-COVARIANCE REGULARIZATION FOR SELF-SUPERVISED LEARNING

下载地址：https://arxiv.org/pdf/2105.04906.pdf

1. 表示学习中的坍塌问题

在表示学习中，一种很常见的做法是利用孪生网络的结构，让同一个样本的不同数据增强后的表示相似。比如对于一张图像，使用翻转、裁剪等方法生成另一个增强图像，两个图像分别经过两个共享参数的编码器，得到表示，木星的优化目标是让这两个表示的距离近。

这种方法一个比较大的挑战在于，模型在训练过程中容易出

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/727665