词向量中的负采样是什么_词向量负采样

作者：IT小白 | 2024-08-20 07:08:52

踩

词向量负采样

skip-gram算法，已知中心词，预测周围的n个词。在此方法中，算Loss的方式是：

根据这个p就有对应的loss。比如考虑中心词周围四个词，那就是四个loss加起来。
那么计算这种loss的时候，分母需要考虑词表里所有的词。一个词表如果有几万词的话，这个计算就太繁琐了。因此用到负采样的办法简化。

具体来说，就是随机采样k个词，要让中心词跟这k个词尽量不像。
那么问题来了，这随机采样的词是不是有可能采样到周围的那n个词？答：是的，但是不影响效果。因为词表很大，窗口很小。

附上小火炉的手绘示意图~
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/1005814