当前位置:   article > 正文

基于negative sampling(负采样)的CBOW模型、skip-gram模型_skip-gram negative sampling

skip-gram negative sampling

一、基于negative sampling的CBOW模型
(一)基于negative sampling的CBOW模型与基于hierarchical softmax的CBOW模型不同:

  • 基于negative sampling的模型采用随机负采样法计算概率,计算的是除词语w外的其他负采样词语的条件概率P(u|Context(w))相乘。
  • 基于hierarchical softmax的模型采用huffman树的二分类法计算概率,计算的是词语w的条件概率P(w|Context(w)),该条件概率等于huffman树多次二分类的概率相乘。

(二)基于negative sampling的CBOW模型
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
二、基于negative sampling的skip-gram模型
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/755687
推荐阅读
相关标签
  

闽ICP备14008679号