论文解读：词向量作为隐式矩阵分解（SGNS）

作者：喵喵爱编程 | 2024-06-25 08:20:14

踩

sgns

解读SGNS（skip-gram with negative-sample）的训练方法。

1.1 skip-gram 模型：
利用当前时刻的词，预测它上下文的内容

在这里插入图片描述
公式：
对于序列 w1, w2, …, wT, Skip-gram最大化平均的log 概率。

p(w|w_t) 使用softmax函数：
这里， W是词汇表中单词的数量。

1.2 Skip-gram + negative sampling：
从上面可以看到，如果直接使用 softmax是不靠谱的，因为计算量和词汇表的数量W有关，而一般词汇表大小为 $10^5$ 到 $10^7$ 次方。

训练目标希望使用logistic regression来区别出目标词 $w_o$ 和噪声分布 $P_n(w)$ . 并且每个数据样本使用了 k 个负样本（对于小训练集，取5-20，对于大的数据集可以取 2-5）。
出发点：
此外，负样本采样的概率为各词频的 3/4 次幂，增加低频的采样概率。

SGNS

参考：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/喵喵爱编程/article/detail/755626