当前位置:   article > 正文

词向量中的负采样是什么_词向量负采样

词向量负采样

skip-gram算法,已知中心词,预测周围的n个词。在此方法中,算Loss的方式是:

根据这个p就有对应的loss。比如考虑中心词周围四个词,那就是四个loss加起来。
那么计算这种loss的时候,分母需要考虑词表里所有的词。一个词表如果有几万词的话,这个计算就太繁琐了。因此用到负采样的办法简化。

具体来说,就是随机采样k个词,要让中心词跟这k个词尽量不像。
那么问题来了,这随机采样的词是不是有可能采样到周围的那n个词?答:是的,但是不影响效果。因为词表很大,窗口很小。

附上小火炉的手绘示意图~
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/IT小白/article/detail/1005814
推荐阅读
相关标签
  

闽ICP备14008679号